劍指AI算力霸主英偉達 Cerebras發佈自研超算訓練的開源大模型

財聯社3月29日訊（編輯 史正丞）當地時間周二，硅谷AI芯片公司Cerebras Systems發佈7款類似於GPT的大語言模型。除了發佈開源大模型外，展現了一條不用英偉達GPU、不接OpenAI接口也能實現「大模型自由」的道路。

（來源：公司官網）

單純從數據來看，這次Cerebras發佈的7個大模型參數量介於1.11億至130億之間。作為對比，谷歌的多模態視覺語言模型PaLM-E具有5620億個參數；同樣在本月發佈的GPT-4模型雖然尚未公佈確切數據，但有媒體援引內部人士透露，參數量大約是GPT-3（1750億）的6倍。

按照目前人類對AI的認知，模型越大，最終能夠滿足的需求就更加複雜。當然，規模較小的模型也有自己的用武之地，例如可以配置在手機、智能音箱中。同時也有研究顯示，規模較小的模型如果經過多次訓練，準確率反倒能變得更高。

但如同上文所述，Cerebras本身是一家芯片公司，所以訓練模型用的是自家的Andromeda AI超級計算機，其中部署了16套CS-2系統。非常具有記憶點的是，Cerebras生產的AI芯片WSE-2的尺寸約為英偉達A100芯片的56倍，核心數量達到85萬個，同樣是A100芯片的123倍。這塊芯片使用的是臺積電7nm工藝，售價超過200萬美元。

（來源：Cerebras芯片）

所以周二發佈的多款模型，本身也是Cerebras向AI算力霸主英偉達發出的戰書。在OpenAI的ChatGPT點燃全球科創圈子的熱情后，雖然有許多芯片公司試圖撬動英偉達牢牢佔據的市場，但取得實際成果的並不多。許多知名企業，也通過直接用英偉達的全套服務來訓練自家的AI產品，從而快速取得成績。

面向潛在的客户，Cerebras也強調自己的芯片具有訓練時間短、同等預算下準確率高等優點，是目前世界上已經公開的大模型中生產性價比最高的方案。公司CEO Andrew Feldman也確認，使用Cerebras訓練出來的模型，未來也能在英偉達的系統中繼續訓練和定製化。

多少有些嘲諷OpenAI發佈GPT-4后不再開源的做法，Cerebras也在周二宣佈公司訓練出來的7個大模型全部在Apache-2.0許可的條件下向研究社區開放，包括模型本身、訓練算法和權重，以此打造行業開源的標杆。

Cerebras表示，任何人只需要向這些高度精準的預訓練模型一定數量的數據，就能以很少的工作量，開發出功能強大垂直行業應用程序。