狂奔一年后，面壁者決心「破壁」

出品 | 虎嗅科技組

作者 | 王欣

編輯 | 苗正卿

頭圖 |《奧本海默》

「世界上不需要超過 5 個或是幾個大模型，我覺得這完全跟當年 IBM 的董事長的論調——世界不需要超過5台計算機是一模一樣，是非常短視的。」面壁首席科學家、清華⼤學長聘副教授劉知遠對虎嗅表示，「我認為未來的大模型就像是CPU一樣，無處不在。所以我們首先要做的是降低成本，讓每個人有屬於自己的若干個大模型來支持生活、學習和工作。」

這是近期中關村初冬的早晨。2024中國人工智能大會(CCAI 2024)像呈燎原之勢的大模型產業切片，匯集了AI新鋭企業和學者。此時距離劉知遠在CCAI 2024端側專題論壇發表Densing Law主題演講，不足一小時。

在眾多AI企業中，面壁從路線、模式甚至名字，都顯得又些另類。當劉知遠坐在我面前，這些另類似乎都找到了答案源頭——他的身上，學者的儒雅和接地氣的一面達到了奇妙的平衡比例。

巧合的是，在交流的前一天，llya發表了預訓練時代將會終結的判斷，又撼動了一些從業者對於大模型和AGI的信心。

劉知遠也觀察到，目前國內已經有大模型公司放棄預訓練。「這種事情在歷史任何時刻都會存在」，就像2000年互聯網泡沫破滅時，不堅定的參與者批量離場，「很多人看到大模型這個方向火，然后加入進來，這樣的人，他一定會在遇到挫折的時候率先退場。」

「數據差不多耗盡了，接下來的確會面臨，模型可持續訓練的未來的發展瓶頸」，但劉知遠認為：「通過強化學習或者合成數據依然可以製造更多數據，明年仍然還是快速發展的階段。」

這一瓶頸是劉知遠在一年前就預判到的問題：「半年之后，國內一定有五六家可以把GPT-4水平的模型做出來，那還有必要做這個事情嗎？」

從商業上考慮「投入了幾千萬，市面上五六個同類型的模型，你怎麼能確保你的模型能賣得的比別人都好？」

因此一年前，脱胎於清華NLP實驗室的面壁智能，就開始專注端側模型的路線。

交流結束后，劉知遠上臺分享了近期團隊的研究成果。正是Scaling Law遇到瓶頸后的「破壁之法」，預測大模型發展的另一視角——大模型密度定律（Densing Law）—— 模型能力密度隨時間呈指數級增長。

就像摩爾定律背后的核心其實是有效地提升芯片上的電路密度，而不是簡簡單單的芯片尺寸。大模型行業也有着和摩爾定律相似的規律，和芯片的電路密度類似，大模型的能力「密度」也在提升，這意味我們能用更少的參數實現相同的智能水平。

模型能力密度提升意味着——如果一個4B的模型能實現40B模型的效果，那麼它能搭載運行的終端範圍會大大拓寬，比如原來服務器上的模型，就可以直接在手機上運行，它的應用範圍也就拓寬了。

以下為虎嗅與劉知遠一對一交流實錄：

虎嗅：最近半年你關心的問題是什麼？

劉知遠：現在算力浪費現象嚴重，導致模型訓練成本過高。歷史上，IBM曾預測全球僅需5臺大型計算機，但如今我們有13億台PC、70億部手機和數百億聯網設備，以及2000億個CPU在運行。有種説法是世界上不需要超過 5 個或是幾個大模型，我覺得這完全跟當年 IBM 的董事長的論調一模一樣，是非常短視的。我認為未來大模型應像CPU一樣普及，讓每個人都能擁有大模型來改善生活、學習和工作。因此，降低成本是關鍵，來讓大模型達到信息革命PC機的時刻。（虎嗅注：密度定律表明，達到相同能力的模型參數指數遞減，2023年以來每3.3個月減少一半，相應模型推理速度提升一倍。例如，GPT-3.5級模型在過去20月內API價格下降至1/266.7，約2.5個月下降一倍。）

虎嗅：llya最近表示預訓練毫無疑問將會終結，訓練模型需要的海量數據（維權）即將枯竭。你如何看待他的觀點？

劉知遠：我覺得他說了一部分的這個正確的事情，現在數據差不多耗盡了，可能接下來的確會面臨，模型可持續訓練的未來的發展瓶頸。因為所謂的Scaling Law有兩個基本的支撐點，數據和算力。llya主要還是強調的數據問題，但是其實我們會認為算力也是關鍵問題，隨着這個模型變得越來越大，訓練算力成本有限。如何支撐這個模型可以去有效scale？所以我們會認為llya提出來的是合時宜的，解決方案還要探討。

其實我們在去年的時候就意識到這個問題。

虎嗅：目前國內有公司已經陸續放棄預訓練，你怎麼看？

劉知遠：大模型是去年纔開始火的。所以我們會認為，很多看到這個方向火然后就加入進來，這樣的人，他一定會在遇到挫折的時候率先退場。這是必然的。因為在歷史上的任何的時刻都會存在這樣的事情，就跟千禧年互聯網興起的時候，也有很多人被吸引想要參與，但是互聯網泡沫破滅時，就會主動地或者被動地退出。

虎嗅：這可能跟明年哪些新的趨勢有關係？ 你對明年大模型發展的預判是什麼？

劉知遠：可以看到就是的，不管是比如説這個推理，還是説Agent，還是説別的強化學習等等，就是包括 o1他提到的各種各樣，其實迴歸到本質的話，其實無非就是要想到某種辦法，然后能夠為這個模型來提供更多數據。

比如AlphaGo先從人類積累的數據來學習下起，所有的基礎都學完后，就出現AlphaZero讓下圍棋的Agent跟自己下棋，來產生更多數據。

如果我們控制這個模型的參數規模不變，我們可以隨着技術的發展，把更多能力放進去。也就是説模型的規模不變，但是模型的這個知識量密度在增加。所以我覺得面向未來其實仍然大有可為，明年一定還是快速發展的階段。

這個過程其實就像是，科學技術的發展，來對抗這個世界的熵增的過程，就像芯片是要通過技術進步，來改善算力密集度，以更高的質量，更低的價格來達到相同的能力。

虎嗅：一年前是如何提前預判到行業目前現狀的？為什麼那時開始專注端側？

劉知遠：這個涉及到對技術的預判。就是在去年初的時候，ChatGPT的橫空出世，其實是讓很多人震驚。因為大家都還不知道這個東西到底是怎麼訓練出來的。但是經過大家快速的研判和探索，實際上在去年的大概到 4 月份，已經大致找到了到底如何達到相同水平的路徑。

我們那次判斷是：國內是到 2023 年12月實現GPT-3.5水準的模型能力，差不多需要一年的時間。

事實證明我們的判斷是對的，因此2023年4月份GPT-4發佈時，我們預計國內一定會在2024年的六月份前做出GPT-4水平模型。

所以我現在想問你，如果你是我們這個團隊的決策者，你發現一年后國內一定有五六家可以把GPT-4水平的模型做出來，那還有必要做這個事情嗎？問題是在於GPT-4的模型能力，至少需要幾千萬美元的算力。

當然，技術上是可以做的，但你做出來之后，你怎麼把這個錢給賺回來？你投了幾千萬。但市面上有五六個同類型的模型，你怎麼能確保你的模型能賣的比別人都好？

也就是説在我們確保技術上可行的時候，得去看這件事情在商業是不是值回成本的一件事情。

所以我們會認為應該更加重視的是極大地去降低訓練模型的成本，極大地提升用相同的成本訓練出來的模型品質，所以那個時候我們堅持的是這樣的事情。這件事情其實事前我們並沒有那麼多信心一定是對的，當然事后的話證明我們是對的。

虎嗅：你怎麼看現在有公司也開始轉向端側了？

劉知遠：是的，我覺得這是好事。這是理性的決定。因為你不走向端側，那就説明你還沒有做出理性的決定。

虎嗅：你覺得未來這樣公司會越來越多嗎？

劉知遠：一定會。

虎嗅：經歷過這一年之后，你的感受是什麼？

劉知遠：我覺得學到好多事情。因為我是作為清華的老師，去參與創業。我覺得這的確是一個大的時代，一定要抽身參與其中，但是這里面其實對我來講有很多新鮮感受。

我們最近幾個月其實一直在嘗試着去總結説我們到底怎麼辦？后面的路怎麼走？因為這件事情是充滿不確定的。

llya的判斷出來后，很多人對AGI信心又撼動了。是不是llya説的就一定是對的？或是我説的就一定是對的？

這個世界本身就是充滿非共識的。真正創新的東西纔是推動科學發展的力量，所以其實我覺得還是要能夠去尋找，歷史上的一些蛛絲馬跡的規律，來指導着我們往前走的方向。

我一直跟實驗室的同學説要實事求是。不要因為你在這方向上取得了優勢和一些積累，你就會認為這個方向就一直是對的。

我們團隊其實從 2010 年開始，就在做自然語言處理，然后再到 2018 年從深度學習到大模型，其實我們應該算是最早做這個事情的。原因在於我會認為就是這個世界的趨勢，它不以個人意志為轉移，不會説因為你覺得這個技術有缺點，它就不會發展。該發生的一定會發生，我們要做的事情就是要去順應事實，而且我們看得更前瞻，更前沿去做一下。

虎嗅：之前被斯坦福抄襲時，你的感受是什麼？如何看待中美大模型發展差異？

劉知遠：我覺得它可能算是一個偶然事件，本身對面也相當於只是一個學生團隊，我個人傾向於不太會把這件事情當成有深刻含義的一件事情，我覺得如果放在宏大的歷史上來去講，就像是黃仁宇的《萬曆十五年》，就是通過那一個年份，來敍述整個明朝的衰敗，所以其實眾多的case，會匯聚成一個大的趨勢。

我們其實能清晰地看到，中國在過去的這十年、二十年的發展，其實是非常快速地在去成為這個世界上的，從追趕者到去原始創新的一個角色。

20 年前，大家都在説copyto China。那又過了十年，到 2010 年的時候，那時中國的 AI 論文發表已經在國際上能夠數得着，已經算是嶄露頭角，那個時候其實大家一般就很少説 copy to China，而是説，中國好像不太善於做技術創建，善於做模式的創建。

現在又過了十年。我們會看到國際的頂級會議，國人的身影已經佔了一半 ，所以我會認為我們現在已經有足夠多的高水平青年學者。現在我們也像歷史上的任何一個強國一樣，能夠實現技術超車，這就跟Densing Law所指向的那個趨勢一定會發生。