重磅！不用英偉達GPU ！中科院類腦脈衝大模型「瞬悉1.0」用國產GPU實現訓練效率提升百倍！

（來源：電子創新網）

據中國科學院官網信息，近日，中國科學院自動化研究所李國齊和徐波團隊與相關單位合作，推出類腦脈衝大模型「瞬悉1.0」（SpikingBrain-1.0）。該模型基於團隊原創「內生複雜性」理論，在國產千卡GPU算力平臺上完成全流程訓練和推理，實現大模型在超長序列推理上數量級的效率和速度大幅度提升，展現出構建國產自主可控的新型（非Transformer）大模型架構生態的可行性。研究團隊開源了SpikingBrain-1.0-7B模型，開放SpikingBrain-1.0-76B測試網址，同步公開經工業界大規模驗證的類腦脈衝大模型SpikingBrain-1.0中英文技術報告（點擊原文鏈接可以下載英文鏈接）。

這是中國首次提出大規模類腦線性基礎模型架構、並首次在國產圖形處理器（GPU）算力集羣上構建類腦脈衝大模型的訓練和推理框架。

據發佈論文介紹，當前主流的Transformer模型存在固有缺點，即訓練時開銷隨序列長度呈平方級增長，推理時顯存佔用隨序列長度線性增加，造成資源消耗，導致其處理超長序列能力受限。

研發團隊借鑑大腦神經元內部複雜工作機制，提出「基於內生複雜性」大模型構架方式，打造類腦脈衝大模型「瞬悉1.0」，在理論上建立脈衝神經元內生動力學與線性注意力模型之間的聯繫，揭示現有線性注意力機制是樹突計算的特殊簡化形式，展示出一條不斷提升模型複雜度和性能的新型可行路徑。進一步，研發團隊構建並開源了基於脈衝神經元、具有線性及混合線性複雜度的新型類腦基礎模型，開發出面向國產GPU集羣高效訓練和推理框架、Triton算子庫、模型並行策略、集羣通信原語。

據論壇介紹，SpikingBrain是一個全新的受大腦啓發的模型系列，旨在實現高效的長上下文訓練和推理。SpikingBrain 利用 （沐曦）MetaX1 GPU 集羣，並專注於三個核心方面：i) 模型架構：具有自適應脈衝神經元的線性和混合線性注意架構；ii) 算法優化：一種高效的、基於轉換的訓練流程，與現有的 LLM 兼容，並配備專用的脈衝編碼框架；iii) 系統工程：針對 MetaX 硬件量身定製的訓練框架、算子庫和並行策略。

利用這些技術，開發團隊開發了兩個模型：SpikingBrain-7B（線性法學碩士）和 SpikingBrain-76B（混合線性多因素方差法學碩士）。這些模型證明了在非 NVIDIA 平臺上進行大規模法學碩士 (LLM) 開發的可行性。SpikingBrain 實現了與開源 Transformer 基線相當的性能，同時使用了極低的數據資源（持續預訓練約 1500 億個 token）。該模型還顯著提高了長序列的訓練效率，並實現了基於（部分）恆定內存和事件驅動脈衝行為的推理。例如，SpikingBrain-7B 在 4M 令牌序列的首個令牌時間 (TTFT) 上實現了超過 100 倍的加速。我們的訓練框架支持在數百塊 沐曦MetaX C550 GPU 上進行數周的穩定大規模訓練，其中 7B 模型的模型浮點運算利用率 (MFU) 達到 23.4%。此外，提出的脈衝方案實現了 69.15% 的稀疏度，從而實現了低功耗運行。

該大模型摒棄了二次自注意力機制，設計了結合線性、局部和標準注意力模塊的混合模型。探索了兩種混合策略：層間順序 (SpikingBrain-7B) 和層內並行 (SpikingBrain76B-A12B)。前者實現了線性複雜度，並在長上下文效率方面表現出色；后者通過更復雜的架構設計提供了更強大的語言建模能力。值得注意的是，線性注意力模型 也與生物系統中的神經元動力學 產生了共鳴。

通過使用統一的注意力圖分析，通過重新映射現有 Transformer 模型的權重，將二次注意力模塊轉換為稀疏滑動窗口和低秩線性注意力。這降低了訓練和推理成本，實現了高效的長上下文處理，所需計算量不到從頭開始訓練的 2%。

受事件驅動的生物神經元啓發，研究團隊提出了一種脈衝方案，將激活轉換為整數脈衝計數，並將其擴展為稀疏脈衝序列。這實現了基於加法的事件驅動計算。該方案支持多種編碼格式，包括二進制 {0,1}、三進制 {-1,0,1} 和按位脈衝編碼。這些稀疏的事件驅動表示為低功耗推理設計奠定了基礎，並可能啓發下一代神經形態硬件的開發。

目前該大模型在 沐曦GPU上進行大規模訓練和推理：兩種模型均在數百塊 MetaX C550 GPU 上進行訓練，涵蓋了從數據預處理到分佈式訓練和推理的整個流程，這項工作代表了在非NVIDIA平臺上首次大規模訓練受腦啓發的LLM，並在760億個參數下實現了穩定的訓練。

最近中國半導體行業協會副會長、IEEE Fellow、清華大學教授魏少軍在新加坡召開的一個行業論壇上警告稱，依賴美國硬件將對中國及其亞洲夥伴構成長期風險，呼籲中國與其他亞洲國家摒棄使用英偉達 GPU 進行 AI 訓練與推理。中科院的這個大模型為非英偉達GPU高效訓練奠定了基礎。 

類腦計算背景知識

類腦計算是一種模仿生物大腦信息處理機制的計算模式。它試圖從大腦的結構和功能中汲取靈感，構建出更加高效、靈活和智能的計算系統。大腦由大量的神經元通過突觸連接而成，神經元通過發放脈衝（動作電位）來進行信息傳遞和處理。類腦計算模型試圖模擬這種神經元和突觸的結構以及脈衝的傳遞過程，以實現類似大腦的計算功能。

類腦脈衝大模型通常具有較高的能效比。由於其模擬了大腦的神經元和突觸的工作方式，能夠在處理複雜任務時消耗較少的能量。與傳統的深度學習模型相比，SNN在處理某些任務時可能只需要消耗極低的功耗，這對於移動設備、物聯網設備等對能耗有嚴格要求的應用場景具有重要意義。

這種模型能夠更好地適應動態變化的環境。大腦在處理信息時能夠根據環境的變化靈活調整其神經元的活動和連接強度，類腦脈衝大模型也具有類似的特性。它可以通過學習和適應新的輸入模式，快速調整自身的參數和結構，從而更好地應對環境的變化和不確定性。

此外，大腦能夠同時處理多種模態的信息，如視覺、聽覺、觸覺等。類腦脈衝大模型也具有這種多模態融合的能力，可以將來自不同傳感器或數據源的信息進行整合和處理，從而獲得更加全面和準確的感知和理解。例如，在自動駕駛場景中，它可以同時處理攝像頭的視覺信息、雷達的測距信息以及車輛的傳感器數據，以實現更加安全和可靠的駕駛決策。

與傳統的深度學習模型相比，類腦脈衝大模型的可解釋性可能更強。由於其結構和工作原理更加接近生物大腦，人們可以通過研究其神經元的活動模式和突觸連接的變化來更好地理解模型的決策過程。這有助於提高人們對人工智能系統的信任度，尤其是在一些對安全性要求較高的領域，如醫療、金融等。類腦脈衝大模型可以用於各種智能感知和認知任務，如圖像識別、語音識別、自然語言處理等。它能夠更好地理解和處理複雜的感知數據，提供更加準確和自然的交互體驗。例如，在智能語音助手領域，類腦脈衝大模型可以更好地理解用户的語音指令，並以更加自然和流暢的方式進行回答。

在機器人領域，類腦脈衝大模型可以作為機器人的大腦，控制機器人的運動和行為。它能夠實時感知環境的變化，並根據這些變化做出快速的決策和反應，使機器人在複雜環境中具有更好的適應性和靈活性。例如，在工業機器人中，類腦脈衝大模型可以用於控制機器人的手臂運動，實現更加精確和高效的生產操作。

類腦脈衝大模型可以應用於智能決策和規劃領域，如自動駕駛、智能交通、金融投資等。它能夠根據實時的數據和環境信息，快速生成最優的決策方案，並進行動態調整。例如，在自動駕駛系統中，類腦脈衝大模型可以根據車輛的傳感器數據和交通環境信息，實時做出駕駛決策，如加速、減速、變道等，以確保車輛的安全行駛。

類腦脈衝大模型還可以與腦機接口技術相結合，用於研究和開發新型的腦機接口系統。它能夠更好地模擬大腦的神經活動，從而實現更加高效和自然的腦機交互。例如，在醫療康復領域，類腦脈衝大模型可以用於控制假肢或外骨骼設備，幫助殘疾人恢復運動功能。

*******直播預告*****