百度李彥宏：文心一言和ChatGPT的水平差了2個月，但可以追趕

來源：極客公園

李彥宏當然知道有差距。GPT-4 發佈之后，百度團隊焦慮地意識到，他們與 OpenAI 的差距被進一步拉大。

「我們差不多是 ChatGPT 今年 1 月的水平，但大家早就忘了 1 月份它是什麼樣子。」

在我們與李彥宏的這場訪談中，他認真地覆盤了文心一言發佈前后的方方面面。技術差距、用户需求、國際競爭，以及中國大模型的創業者們該如何選擇。

「創業公司完全不用擔心市場是不是足夠大」，談到文心的時候他也是這麼説的，「只有出來之后纔有機會更快地去迭代，去提升」。

「嗯，開始行動就好。」

以下是對談內容，經 Founder Park 編輯整理。

本次對談嘉賓：

李彥宏 百度創始人、董事長兼首席執行官

駱軼航 品玩創始人、CEO

蔣濤 CSDN 創始人、CEO

01 李彥宏：3 月 16 日內測是我拍板的，對文心一言達到的水準比較滿意

張鵬：我相信百度作為在中國第一個內測類似於 ChatGPT 這樣類型的產品，本身是個情理之中，但速度又有點意料之外。我聽到外界一個有意思的傳説，説百度經歷過大概 40 天的衝刺，然后能夠迅速交付產品出來，讓大家非常吃驚。所以我挺好奇這 40 天衝刺到底經歷了些什麼？能不能給我們講講文心一言誕生的過程？

李彥宏：40 天這個説法我也沒有聽説過。百度做人工智能十幾年了，我們做語言大模型也有幾年的時間，就是從 2019 年文心 1.0 版本發佈到現在也有近 4 年的時間，這期間文心 1.0、2.0、3.0 都發布了。去年 11 月 30 號 ChatGPT 發佈，我們去試了一下，確實有驚艷的感覺，覺得比以前的大模型，尤其是在內容生成方面有很大的躍進。從那時候開始，內部確實壓力比以前更大。

中國這個產業環境里，我接觸到的很多人其實都在問「百度有嗎？你們要不要做一個這個東西？」，我們因為這些年一直在做語言大模型，確實也很重視，從 2019 年到現在，包括我個人也花了不少時間跟團隊去討論這個大模型到底會向什麼方向發展，會有什麼樣的應用，到底有多大潛力，我們應該投多少資源等。但是到最后其實有點被輿論裹挾着，越來越覺得我們需要儘快推出一個對標 ChatGPT 的大語言模型。

內部在發佈之前兩個月里，工作壓力是蠻大的，大家日夜奮戰，有很強的危機感。剛剛做出來的時候，內部評測確實不行，雖然提升速度很快，但是不確定什麼時候可以發佈。整個過程我們也不斷地在內部討論到底什麼時候可以發佈。我當時是拍了個板，説 3 月份一定要發。團隊沒有那麼有信心，擔心 3 月份做不出來。我就説即使那個時候做不出來，我們再去跟公眾解釋説，我們稍微 delay 了一點，我覺得也 OK。但我們現在就要說出去，3 月份就要發。

我這樣做確實是有意的，給團隊一些壓力，讓他們能夠動作更快一點，提升的速度更快一點。

一開始我們公佈 3 月份要發的時候，團隊的理解是 3 月 31 號發（笑）。后來我跟他們講，3 月 17 號我要去參加亞布力論壇。那個時候文心一言的事兒已經滿城風雨，關注度非常高，如果到時候文心依然沒有發，我.其實我不知道該説什麼了，別人關注的都是這個事，我去講點別的，人家覺得肯定你很虛偽。

甚至包括一些很好的朋友、一些領導，他要問這個東西的話，你什麼都不説是不行的，説一些保密的東西也不合適，我們是上市公司，投資人也很關心，跟一部分人説不跟另外一部分人説，就是選擇性披露，這是不行的，所以 2 月底的時候我就説 3 月 16 號邀請內測好了。確實到最后這個階段有一點趕，但 3 月 16 號的時候我對文心一言已經達到的水準還是比較滿意的。

駱鐵航：3 月 16 號文心一言大模型邀請內測，前兩天谷歌 Bard 也開始公開做測試，Robin 本人、團隊都會強調百度是全球大廠里第一個上內測生成式 AI 大模型的公司。OpenAI 名義算是創業公司，受到很多人的關注和肯定，但大家對於大廠創新做類似產品就不是很包容，谷歌之前遭遇批評，百度也遭遇了一些批評，您怎麼看待大廠成功或者第一個內測大模型的意義，為什麼這個事情對於百度是重要的，以及大廠在這里有哪些優勢？

李彥宏：文心一言發佈之后遇到了一些批評的聲音，算是我預料之中。我在發佈會至少説過三遍，文心一言還不完美。

選擇現在這個時間發佈，最主要的原因是市場需求旺盛。ChatGPT 剛發佈的時候也遇到很多批評，所謂「一本正經胡說八道」，很多人覺得無法接受。我記得程序員社區 Stack OverFlow 明確禁止在社區發佈通過 ChatGPT 生成的內容，因為 ChatGPT 錯誤率太高了，很容易誤導用户。所以文心一言不管什麼時候發出來，都不可能是完美的，只有發出來之后纔有機會更快地去迭代，去提升。

但是不管是着急發也好，百度作為全球大廠中第一個發佈也好，我還是覺得很驕傲，因為市場需求太旺盛了，無數的人——過去不怎麼聯繫或者行業跟我隔得很遠的人現在都在問，我們怎麼能跟百度合作，怎麼儘早試用。客户把需求提給我們之后，我們有針對性地進行優化和迭代，很快就可以變得非常有用。對我們來説如果客户不願意為這個付費，這個產品或者技術對我們也沒有什麼價值，客户如果願意付費的話，無論多不完美，它自己就證明了價值，所以我覺得市場需求這麼旺盛情況下，誰先做出來還是意義非常大的。

其他的大廠包括美國的 Google、Facebook、Amazon 都沒有發出來，我覺得有兩種原因，一個是他們之前沒有那麼重視這件事，生成式 AI 和過去搜索引擎常用的判別式 AI 是不太一樣的，使用的算法、理念甚至是評判質量好壞的標準都不太一樣。不是大廠之前很重視的方向，等到 ChatGPT 出來之后，再發力也是需要時間的，不是一時半會兒能夠做得跟 OpenAI 一樣好。

如果作為一個大廠第二個做出來，會像谷歌在美國的遭遇一樣，其實谷歌的人工智能技術我覺得基礎是非常好的，這麼多年 AI 上花的錢應該可能不輸於任何一個全球高科技公司。在這種情況下如果出來的東西還是有瑕疵的，明顯不如一個創業公司的話，壓力是很大的。作為市場上第二個出來，公眾、客户、媒體對你的要求完全不一樣了，從這個意義講我也認為第一個出來非常重要。

02 一邊煉丹，一邊發電

張鵬：拿今天的文心一言和已經經過幾個月數據飛輪循環的 ChatGPT 跨時空比有些不公平的，但對公眾來講，大家還是很期望有一個比較能夠理解的對標，如果讓你定義，今天的文心一言相當於什麼時候的 ChatGPT，甚至在技術上是多少分？有沒有一個比較具象的對標？

李彥宏：文心一言發佈之后，我看到網上有各種各樣的評測、對比，都是在拿文心一言跟最先進的大模型做對比。不僅會對比 ChatGPT 3.5 版本，也會對比 GPT-4 版本。文心一言發佈的多模的東西，用文字生成圖片，我也看好多人拿這個功能去跟 Midjourney 對比。用户會在任何一個方向上，用市面上最先進的產品跟百度文心一言進行比對。

其實我覺得也無所謂公平不公平，大家這麼關注，對你有這麼高期望，是我不斷提升的動力。我也不斷在講文心一言不夠完美，事實上如果全面來評測的話，文心一言確實也不如現在最好的 ChatGPT 版本，但是差距不是很大。所謂不是很大，可能就是一兩個月的差別。

大約就是兩個月之前，我們內部做過一次評測，用文心一言跟當時的 ChatGPT 做對比，我們大約落后那個時候的 ChatGPT 40 分左右，我們分析那些落后於他的地方，感覺差不多用一個多月時間就可以把這些問題解決。過一個月之后解決的差不多了，再去評測一下 ChatGPT 和文心一言，發現我們不僅沒有趕上 ChatGPT，反而差距拉大到 70 分了。當時團隊也很焦慮，為什麼我們做了半天反而越來越不如人家了？

張鵬：為什麼？是數據原因還是其他原因？

李彥宏：就是 ChatGPT 本身也在不斷升級，它的能力也在快速提升，那一個月的時間，文心一言可能提升速度不慢，但 ChatGPT 可能中間有一次大升級，導致能力有一次質的飛躍。再仔細分析差距之后，覺得説再給一個月還能夠追的七七八八。

按照團隊現在的分析，我們水平差不多是 ChatGPT 今年 1 月份的水平。但是大家早就忘了 1 月份它是什麼樣子，今天大家已經習慣 GPT-4，GPT-4 的技術跟我們只差一天出來，是一個其他大廠也很難去拿出一個東西相比的技術，所以我覺得沒關係，比就比，對我來説，只要自己提升足夠快，是能夠把過去做不到的東西一步步做到，尤其有越來越多的用户給我們反饋的時候，我還是逐漸看到不少亮點，不少我們已經做得比現在的 ChatGPT 要好的方向，當然，也有更多方向不如它，但我覺得假以時日我們都是可以彌補的。

蔣濤：無論 ChatGPT 還是背后的微軟，包括文心一言的內測，我覺得內測是很重要的分水嶺，內測后就進入到新的階段。內測前可能被市場"裹挾"，畢竟有對方先做東西，內測之后，更多人用，產品提升更快。接下來作為中國的大語言模型產品，和對方去競爭，是不是可以不用繼續被"裹挾"？

李彥宏：我覺得「裹脅」不見得是壞事，當時如果沒有外部壓力，我們可能不會這麼快推出這樣水平的產品；而上線之后我也不覺得不再會被「裹脅」，恰恰相反，每天收到的用户反饋比以前多很多很多倍，反饋當中 1/3 説好的，2/3 是説不好的，不好的反饋實際上也是一種壓力，每天看到的都是各種各樣的問題，遇到問題，去解決問題，這就是創新的過程，自然而然會讓我們迭代的速度越來越快。

這種東西你把它説成裹脅也可以，但我更希望説成反饋，我一直認為所有的創新都是靠反饋驅動的，有反饋就可以不斷去創新，反饋越多創新速度越快，沒有反饋就天天憋在屋里自己干，其實是沒有出路的。

蔣濤：作為中國大語言模型和美國大語言模型相比，路線上未來會有區分嗎？

李彥宏：會有一些不一樣，中國有自己特色的語言和文化，文心一言有些地方做的比 ChatGPT 好，比如貼吧里邊那些梗，你去問文心一言，基本上都能回答對，97%、98% 的準確率，ChatGPT 會是 30% 左右的準確率，可能是因為它在這方面的訓練語料少一些，百度在這方面多一些。

再舉個例子，白話文翻譯成文言文，或者把文言文翻譯成白話文，這個也是我們擅長的。再往后我們的客户要求做定向調優，他的數據進來之后，就能夠在客户的領域做得更加精細化，更高的準確率。因為有些場景不能夠容忍這麼高的錯誤率，所以我們一定會解決那些問題。時間長了之后，還會覺得這兩個大模型會有比較多的不同之處，雖然基礎技術比較類似。

張鵬：據說百度在通用大模型上做了一些知識增強，等於做了一些額外加強，這也是百度在大模型上面的一種創新。不知道百度的通用大模型是一個什麼量級的參數？也是千億量級數據的訓練過程嗎？

李彥宏：肯定是千億量級，這是一個門檻，如果不過千億就不會出現智能涌現，這是過去實驗都證明過的。但是具體是多少參數，公佈意義不大，過了千億之后，也不是萬億量級參數一定比千億效果要好。GPT-4 出來之前，我看好多媒體猜測是萬億量級參數，十萬億量級，方向就錯了。它不是靠提升參數規模，是在其他方面進行提升的。

張鵬：現在外界很多人推演説未來大模型的賽道要把技術越練越好，可能需要百億美金以上的持續投入。我比較好奇，在你的視角來看，這是不是必然投入的量級，有沒有其他選擇？百度要繼續「煉丹」還是率先把它應用在百度的業務形態中。我們能夠想到的搜索、小度，其實都有很大的想象空間，不知道百度怎麼看未來的投入和策略？

李彥宏：資金投入是肯定的，而且會越來越大。比如目前 OpenAI 百億美金的投入量級。但是隻要有競爭的話，一定會投入增大。所以，未來是百億美金，還是千億美金沒有人知道。我們只知道隨着這些投入，技術進步會越來越快，在各個行業、各個場景商用普及程度也會越來越快。

投入只是硬幣的一面，硬幣的另一面是收益，因為大模型確實有用，是在我們能夠想到的各行各業、各種場景都有用。所以，發展大模型不僅僅意味着投入，也意味着收益。這個收益隨着時間的推移，會越來越顯現出來。OpenAI 從非盈利組織變成 limited organization 之后，門檻、利潤要超過今天的蘋果。大家對這項技術能夠掙錢的量級有很高預期的，純投入不可能發展這麼快，一定是有收益的，有收益的根本原因是有效果，是市場需要，對我們的社會、文明有正向的作用，纔會有收益。

張鵬：所以就是一邊「煉丹」，一邊發電，那麼百度接下來在搜索、小度上，會很快看到文心一言在里面發電嗎？

李彥宏：肯定，百度目前所有的產品無論搜索、小度、貼吧、文庫、網盤、地圖，每個部門現在都在加班加點，更快地把文心一言的能力集成進去，這種集成其實會很自然，你會覺得這個產品里頭就需要這樣的能力。對百度來説是這樣，對很多企業也是一樣的，大家很自然地就能夠看到，我可以用到、集成、需要這些能力。

社會在以一個更快的速度去演進。今天我們回看 15 年前，比如 iPhone 出來之前，很難想象那個時候的人過的是那樣的生活。如果再過五年、十年再回看 2023 的話也是同樣的感覺。過去的人們可能回看一兩百年都覺得差不多，人們過的就是那樣的日子。但是今天你回看 15 年、20 年都覺得很不一樣。今天我們看一些講述 90 年代的電視劇，看他們的生活場景，明顯和今天不一樣。我覺得未來五年十年，這種感覺會更明顯。

03 更可能彎道超車

蔣濤：我們最近也在觀察 ChatGPT 相關的討論，會發現大家在聊 ChatGPT 甚至 GPT 的時候，都會忘記后面還有微軟的 Azure 雲服務，這個行業其實可能已經在發生很根本的一些變化了。Robin 你認為在大模型出來后，對於雲的改變是怎樣的？另外就是，你提到有些客户場景，會涉及到具體的調優，那在這個環節里，因為國內的產業格局、產品複雜度不一樣，會帶來哪些彎道超車的機會？

李彥宏：我之前也公開講過，大預言模型的出現，對於雲計算來説，是一個 Game Changer，它會改變雲計算的遊戲規則。

過去傳統的雲計算就是賣算力——每秒鍾的運算速度、存儲等比較基礎的能力，但是隨着技術的演進，真正 AI 時代的應用不會建立在過去的這種地基上。移動時代是在 iOS 或者 Android 系統上開發 app，PC 時代的話是在 Windows 上開發各種軟件，AI 時代的應用是基於大模型來開發的。那麼是不是有一天所有的模型會統一成一個模型？這個是存疑的。兩年前我試圖在內部推動把語言、視覺、語音模型等統一成一個模型，當時怎麼想都覺得不對，走不通。

未來的應用基於這些模型做開發，不管是搜索還是貼吧，都是基於我們已經做出來的模型來做開發，這跟過去創業公司直接用雲是不一樣的，那時候你用的的確是算力，甚至是具體的幾塊 CPU、幾塊 GPU 等，以后不用再擔心這個層面的事情了。就好比我小時候是學匯編語言，后來變成 C 語言，現在大家都在學 Python，方便程度是完全不一樣的，如果能夠用 Python 寫，誰還會去學匯編語言。

對於百度來説，我們的理論是四層構架：芯片層、框架層、模型層，上面纔是各種各樣的應用。早期大家都是基於芯片去開發各種各樣的應用，現在的話，百度的飛槳應該是國內市場佔有率第一個人工智能框架，在美國的話就是 Pytorch、TensorFlow。在 2023 年之前，開發者做 AI 應用的時候，比較依賴框架。但是大模型出來之后，框架就變成相對比較底層的東西，以后開發各種各樣的應用基於模型來開發就可以了。底層是什麼框架，其實也沒有那麼重要了。但是對於百度這樣的公司，我們在提供基礎模型的時候，用什麼框架、芯片其實還是很重要的。甚至某種意義上講，每一層都可以通過反饋不斷相互加強，不斷提升效率。這在內部叫做端到端的優化。

芯片層我們有崑崙，框架層我們有飛槳，模型層有文心一言，剛纔我們説到大模型很需要算力，那麼我怎麼能夠做到比別人效率更高呢？比如同樣是 10 億美元的芯片，我們怎麼能夠算得更快？就需要有崑崙、飛槳的配合，去更適用於文心一言的模型。這些基於端到端優化后，我們的效率會比其他大模型要高，商業競爭最終比拼的是效率，無數的案例都證明了這一點。

駱軼航：也就是説基於大模型的三層框架，最上面纔是應用。在構架之外，如果我們在一些具體的產業進行應用的話，還需要額外針對不同產業做特殊訓練嗎？因為如果看 GPT-4 的話，很難説它能在哪些大型產業上被廣泛應用，目前只是寫論文、做心理諮詢等。文心一言在這方面有進行額外的訓練嗎？基於我們現在所能做的，在大模型領域，中國的公司基於國內的產業環境和架構去做訓練，是不是反而能夠彎道超車？

李彥宏：我確實認為大模型的話還應該有一箇中間層，就是所謂的行業大模型。在這些基礎模型之外，某一個行業比如能源、金融、交通、醫療或者健康等，都可以基於文心一言的基礎模型再做優化，用自己的行業數據去訓練。比如金融行業在訓練行業數據后，讀財報的準確率就會高很多，有了這個能力，就可以直接提供服務給行業內的客户，這樣研發費用也能得到均攤，反而是效率更高的事情。

行業大模型應該是未來一個比較看得見的機會，對於某些比較后知后覺的行業，如果這個時候你基於行業共性訓練一個行業大模型的話，是可以把行業客户都吃下來的。

駱軼航：所以你的意思是，通用大模型的事情創業公司就別往里面摻和了，因為又花錢又花時間。可以交給主要的幾個大平臺，然后基於通用大模型去訓練行業模型應用，這是一個比較好的生態？

李彥宏：目前看來確實是這樣的。如果去做基礎大模型，創業公司是沒有優勢的，現在跟 OpenAI 成立的時代不一樣，他們在 2015 年成立，慢慢琢磨別人都看不上的一個方向，最后做出來，聚集了一批開發者，還有微軟在背后的支持，纔能有今天的成就。

但是今天在所有大廠都玩命往里投資源的情況下，作為創業公司去做基礎大模型是沒什麼道理的。你又不是第一個做出來的，市場上已經有了；要數據沒有數據優勢，要算力沒有算力優勢，要生態沒有生態優勢。對於創業公司來説，做一些新東西、別人不太看好的東西，我覺得成功率會更高一些，社會意義和商業價值也會更大一些。

張鵬：對於技術型創業者來説，他們想知道文心一言背后的大模型跟 OpenAI 是完全一樣的技術路線，還是有不同選擇？未來大模型所謂的煉丹，可能有技術上的分叉嗎？創業者在選擇跟隨哪個平臺做創新時，應該關注哪些東西？應該如何選擇？技術上是不是還會有新的變量？

李彥宏：我們用的技術有一些不同之處，最主要的不同一個是檢索增強，一個是知識增強。檢索增強是因為 AI 很容易一本正經地胡說八道，我們本身又擁有一個非常強大的，做了 20 多年市場佔有率很高的檢索系統。搜索語境下人們對錯誤容忍度很低，當問的問題有相對比較確定性答案的時候，我們通過檢索增強就能夠比較成功避免"一本正經地胡說八道"。

3 月 16 日的發佈會 Demo 用的第一個的例子，《三體》作者哪里人，我測了好多遍，ChatGPT 的回答都是錯的，我們的每一次回答都是對的，這就體現了檢索增強的作用，首先要理解《三體》作者是誰？哪里人？是什麼意思？再問籍貫，這些都弄對以后才能回答得出來。

第二個不同之處叫做知識增強，這是百度在大模型領域學術上的貢獻。ChatGPT 里的 T 叫做 Transformer，是谷歌發明的，不是 OpenAI 發明的。ChatGPT 走到這樣一個地位，不是自己發明所有的東西，實際上也吸取了很多前人的經驗。Transformer 是對大模型的一個新的推進，百度對於大模型的貢獻就是知識增強，我們做搜索的過程中積累了一個非常大規模的知識圖譜，應該是全球規模最大的知識圖譜，有 5500 億。人對物理世界的理解，如果沉澱成知識，用成立一個知識圖譜，再把它融合進文心一言，這就使得自身進化的速度會更快一些，這也是 OpenAI 作為創業公司相對來説不具備的資源或優勢。

張鵬：那你覺得創業者在選擇技術路徑的時候，在確定性問題上做增強，對於創業團隊或者商業公司來講重要嗎？

李彥宏：我認為在很多場景下都非常重要。有些場景下可能説錯了也無所謂，更關注的是創造性、精彩程度以及説話語氣等。但像保險理賠，如果在理賠時回答錯誤，就不可用了。可能在一半以上的應用場景當中，對於錯誤的容忍程度都是很低的。當你有知識圖譜和檢索增強的時候，越到具體的行業應用，越會顯示出它本身的優勢。

04 不管是 ToC 還是 ToB，創業機會都很大

張鵬：這個問題是極客公園的創業者社區里大家一定要求讓我來問 Robin 的。移動時代我們會講 mobile native，Web3 時代是 Crypto native，那現在什麼是 AI 的 native？另外，對於創業者來説，是應該今天趕緊下場做 ToC 的產品，還是説更加認真思考一下，在某些垂直領域怎麼改變商業的邏輯，對此你會怎麼建議？

李彥宏：今天大模型還處於產業發展非常早期的階段，不管是我的觀察還是其他人的，都有可能發生變化。

在我看來，AI native 的特徵是 prompt，就是提示詞，過去沒有這個行當，我們也不覺得跟計算機交互有那麼多講究。未來，就要考慮怎麼寫 prompt 才能把大模型的能力給萃取出來，這是一個我覺得非常有意思的行業，也是一個我認為將來最容易出現新的工作機會的地方。我有一個比較大的推測，10 年之后人類一半的工作都會跟提示詞有關。

除了提示詞這方面的變化，從創業的角度來看，我認為機會還是很大的，甚至十倍於移動互聯網的機會。主要的機會肯定是基於大模型開發出來的各種應用，至於説應用是 ToC 還是 ToB，收費還是廣告模式等等，我覺得都會有。每一個方向的機會已經大到對於單獨的創業者來説，不需要去關心市場容量了，創業公司完全不用擔心市場是不是足夠大。

張鵬：嗯，開始行動就好了。

蔣濤：對於開發者來説，現在硅谷那邊已經是風起雲涌，在做各種基於 GPT 的應用、過去我們面向 API、技術棧變成，現在則是變成 prompt 編程，整個開發者生態和應用都發生了很大的變化。你覺得在未來，那些基於大模型的 ToC 和 ToB 應用會發生什麼樣的變化？

李彥宏：我覺得有一個很大的趨勢上的變化，是未來不需要那麼多程序員了。大模型很多時候能夠自動生成代碼，但是我們會需要越來越多的 prompt 工程師，大模型本身的能力放在那里，用得好不好全靠 prompt 提示詞來決定。

提示詞寫得好，智能涌現的可能就會多一些，返回的結果就更有價值一些。提示詞寫得不好，出來的可能是一本正經胡說八道或者錯誤的結論。怎麼樣把提示詞寫好，既是技術也是藝術，甚至我覺得藝術的成分更多一些。

今天看起來是自然科學的人更好找工作，工資更高，但以后沒準學文科更容易找工作，因為他在寫提示詞的時候，他的想象力和情感表達會比工科的人更有效果一些。

蔣濤：不同模型，比如文心一言和 ChatGPT 的提示詞會不一樣嗎？

李彥宏：很不一樣，底層訓練是獨立訓練出來的。如果類比成人的話，每個人的脾氣秉性肯定是不一樣的，還是需要在交互過程中不斷摸索，才能知道怎麼寫 prompt 可以獲得更好的效果。

蔣濤：所以你餵它數據，它是會變化的嗎？

李彥宏：會變化的。比如最近討論的寫成語什麼的，一開始出來的內容你會覺得它沒有理解你的要求，你跟它説不對，它就會理解這個反饋，再過兩天就會理解你的需求了。

蔣濤：大家把 ChatGPT 的出現比作 AI 的「iPhone 時刻」，移動互聯網時代有開源和閉源的競爭，iOS 是閉源的，Android 是開源的，最后開源在生態上贏得了很大的勝利。現在開源大模型出現了不少，包括 Meta 出的 LLaMa，開源模型有市場機會嗎？另外，目前的行業大模型有兩種訓練方法，一種是在閉源的比如百度的文心一言上訓練，還有一種是在開源大模型上訓練垂直的行業大模型，哪一種更好一些？今天還會出現開源大模型的生態嗎？

李彥宏：我覺得有可能出現出現開源大模型的生態，但最終還是一個市場的自然選擇。對於開發者來説，今天選擇閉源或者開源大模型，我覺得主要看兩個因素：哪個效果好，哪個便宜。開源在價格上有足夠的優勢，基本上可以不花錢，閉源如果想要有生存空間，一定需要做得比開源好。如果開發者更加追求效果，就會選擇閉源。但這是一個靜態的觀察，動態來看的話，開源和閉源兩條技術路線，最后誰會跑得更快，后勁更足，可持續性更好，我覺得是個開放性問題，正例反例都有。

對於開發者來説，現在只能選擇效果更好的，或者性價比更高的模型來進行開發，而對於路線之爭我們只能是拭目以待了。

05 千億參數量級后的智能涌現

蔣濤：我代表開發者問一些問題，ChatGPT 出來的時候正好是 NIPS 大會（神經信息處理系統大會），有 4 萬名機器學習和神經網絡的博士在開會，他們都驚呆了——這好像超出了我們對 NLP 或對話能力的理解，后來的解釋是智能涌現能力。ChatGPT 沒有用很多中文語料，中文的事實理解其實很差，但是它仍然可以做很好的中文表達，我們選智利詩人巴勃羅·聶魯達很有名的作品翻譯成中文，發現比翻譯家翻譯得還要好，這個你怎麼看？這個突破能不能給我們技術人員講講，到底智能涌現是怎麼實現的？為什麼用很少的語料，但語言的差距卻沒有了呢？

李彥宏：這確實是讓人感到驚喜和興奮的地方。我們做大模型做了很多年，當用一個億級大模型做的時候，可能做某個單項任務，或者一兩個任務，相對比較窄。后來變成十億級，百億級，一直到最后參數規模達到千億，同時匹配足夠多的數據來訓練，最后纔出現智能涌現，應該説是從量變到質變的過程。

僅僅三年前，我們所説的大模型是參數億量級的大模型，今天當我們説大模型的時候，大家的理解是千億量級參數的大模型，這種進化和技術迭代的速度其實超過了摩爾定律的演化速度，這還是很神奇的。一旦越過那個門檻之后，過去我們覺得不太可能的事發生了質變。

如果再稍微往下沉一點看，為什麼會有這樣的質變？我自己的理解是，當 AI 學習了世界各種各樣語言的文本，本身雖然是概率模型，還是基於過去已經出現的十個字符或者 token，去猜測下一個字符最有可能是什麼，簡單的技術原理就是這樣。但是當實際數據量足夠大，算法比較正確的時候，基本上人類對於物理世界的理解被逐步壓縮到了一個模型里，如果這麼來理解大模型的話，確實就是具備了智能涌現或者説是觸類旁通的能力，我覺得確實很神奇。

以前人們也沒有想到很多東西會是做出來了之后，纔會去琢磨這個東西里面的科學道理是什麼。因為我們上學都是學科學和自然，社會的進步，科技的進步都是先有了理論，在理論的指導下做技術和工程，再把它做成產品推向市場。但其實很多時候反而是工程先做到了，比如人們先發明瞭飛機，已經飛上天了，纔開始琢磨為什麼比空氣重的東西還能在天上飛，由此產生了空氣動力學。所以大模型也有點這個意思，先做出來了，我們纔開始去研究為什麼會是這樣。

蔣濤：如果大家都用這個千億模型，逐漸都能夠達到這個能力嗎？類似於開源系統一樣，大家知道基本原理，但是你並沒有開源所有的東西，其他家也能夠做到嗎？

李彥宏：對，這是一個 moving target，一直在變。ChatGPT 本身也在以一個很快的速度在進化，文心一言在以更快的速度進化。下一個出來的不管是誰，創業公司也好，大廠也好，做到今天這樣的水準肯定是沒問題的。我們今天覺得這已經很神奇了，也許再過三個月會發現這個東西怎麼這麼差，它怎麼還會出錯。人們的期望值會不斷抬高，下一個出來的再去追趕之前的大模型，我認為難度是比較高的。在同一個市場上，領先的大模型一定會獲得更多的開發者在上面開發各種各樣的應用，一定獲得更多用户的反饋。這種規模效應或者數據飛輪一旦轉起來，其實后來者追趕起來會挺辛苦的。

駱軼航：Robin 剛纔提到了理論和工程的關係。我們也知道無論是 OpenAI 做 ChatGPT，還是百度做文心一言，本質上做的是工程師的事情，本身對基礎科技的投入不是很多，這樣的事情之前有很多。這個過程有人稱之「大型的暴力美學實驗」，因為投入大量的資金、算力等去做。前不久一個 AI 領域的科學家跟我講，他覺得好幻滅，大家都參與這樣的實驗，像煉丹一樣。你知道在里面發揮的作用，但是你不知道什麼時間哪次怎樣的努力導致出現變化和躍遷，作為 AI 科學家和工程師很難衡量風險，因為是大干快上，各方面投入很多的過程。這也是讓人們覺得很困惑的一個點，我們今天看到 ChatGPT 也好，文心一言也好，都取得了一些突破。到底什麼原因導致一個大模型能夠走出來、跑出來，在某些關鍵的無論是對話的精準度，事實語料的精準度，以及對於情感的表達方面能夠成功，但是這個關鍵到底是在哪個環節上？是語料庫的問題，反覆訓練的成果，還是算力的成果，哪個事情最關鍵？這個爆發的時刻在過去幾個月的經驗當中，你覺得哪個月是最關鍵的？

李彥宏：簡單講就是不知道，我也不知道哪個月最關鍵。這麼做了之后，突然能力就具備了。但是我相信未來人類一定會弄清楚背后的理論基礎。很多時候就是工程先做出來了，然后再慢慢研究。我們都是從小到大接受正規教育出來的，太習慣説用理論來指導實踐。如果這個實踐不是靠理論指導出來的，甚至當前的理論無法解釋，就覺得很魔幻，覺得不可接受，覺得像煉丹、偽科學，其實根本不是，科學本身也在發展，憑什麼你現在知道的科學就是真理，就一定都是對的？

還是需要通過不斷的實踐、創新，通過吸取各種各樣的反饋來加速技術的迭代。跑出來之后，再去慢慢研究這背后的理論，沒有跑出來的話，再過五年十年，人們也不會朝着這個方向去研究。其實一開始大廠都沒有在做生成式 AI，沒有在上面投太多資源，包括學術界，大家沒有覺得這個事值得那麼多人去研究，但是一旦跑出來確實很厲害，萬衆矚目。我相信會有大批科學家跟進研究，研究背后的理論。當然也有可能這套理論總結出來之后，也可以再用來指導大模型下一步迭代更新，這點完全是合理的。

駱軼航：可是 OpenAI 現在有 GPT-4 之后，都不發論文、不開源。不發論文，科學家怎麼去研究？我們到底怎麼去配合科學和理論？

李彥宏：OpenAI 現在相對來説比較商業化，當然商業化也不是壞事，有足夠的資金去投入，技術迭代的速度會更快。開源不開源完全是它的選擇，如果在不開源的情況下，技術迭代速度會更快，能夠更好地去造福人類，也是挺好的路線。外界的研究也不能完全指望靠 OpenAI 的公佈，其實各個公司各個研究機構都已經開動了，該投入的投入，該做研究做研究，該做嘗試做嘗試。所以，我認為逐漸會形成一套產學研模式，各干各的事，慢慢會形成有規模的領域，甚至是學科。我不擔心外界搞不清楚 OpenAI 是怎麼回事，這項技術的迭代速度就會變慢，我恰恰覺得有競爭，有商業色彩在里頭，技術的進步更快一些。

編輯/Corrine