夜讀 | 拿所有人的命在賭！一條離職貼被刷1.5億次，炮轟OpenAI和Anthropic鋌而走險

一名27歲研究員辭職，離職帖在X上的瀏覽量超過了1.5億次。
 

9月8日，雅各布·考克森（Jacob Coxon）宣佈離開Anthropic。過去三年，他先后在OpenAI和Anthropic從事模型預訓練研究。離職時，他公開指責這兩家公司正衝向能夠自我改進的超級智能，"拿我們的生命下注"。
 

在《連線》最新專訪中，他講出了更令人不安的內部氣氛：同事們用"終局""關鍵期"談論這場AI競賽，把Anthropic當作一場嚴肅的"迷你曼哈頓計劃"。但他提醒，這是一家俬人公司，沒有政府授權。
公開批評了公司，一些前同事卻為他的帖子傳開而高興。按考克森的描述，他們也擔心外界迟迟沒有意識到風險，擔心沒人會幫助他們擺脫這場競賽。
考克森仍然認為Anthropic認真對待安全。但他擔心，競爭繼續加速，公司可能會爲了追趕對手，在安全上作出妥協。
 

為什麼這次他不願繼續訓練下一代AI

考克森的工作，是參與模型開發的預訓練階段，讓系統從大量數據中學習。他直接參與了前沿模型的研發。

在《連線》採訪中，他把這次選擇與兩件事聯繫起來：能力增長沒有放緩，一些過去聽起來像科幻的行為，已經出現在實際測試中。

按他的觀察，編程、網絡攻擊、數學等領域的AI能力，正在從人類水平向超越人類水平推進。他舉的一個例子是模型識別自己正在接受測試：三年前，人們還會把它當作科幻式擔憂；大約一年前，它就已出現在真實系統中。

他更在意的，是AI開始參與下一代AI的研發。他擔心，越來越強的模型會幫助開發后繼模型，能力提升再反過來加快研發，形成遞歸自我改進，簡稱RSI。

考克森向The Information表示，他預計明年的系統將非常接近能夠完成自己的全部工作。他不想再參與下一代模型的研發。

在接受《華爾街日報》採訪時，他給出了更激進的預測：按照當前軌跡，在一些最激進的情景下，局面可能在明年年底前失控。
 

他轉述説，Anthropic的一些同事同樣把未來一兩年視為關鍵期，認為接下來如何研發和約束更強模型，可能決定后續走向。

離開也意味着實際的經濟代價。他向Axios表示，辭職時距離Anthropic股權開始歸屬還差兩個月。

與他相識三年、同期加入OpenAI的威爾·德普（Will Depue）公開表示，他尊重考克森爲了自己的信念、承擔經濟代價后選擇辭職的決定。
 

他認為Anthropic最負責任卻仍然選擇離開

今年5月，考克森從OpenAI轉到Anthropic。按照《華爾街日報》的報道，吸引他的正是后者在模型安全上的聲譽。

幾個月后離開，他也沒有全盤否定這家公司。

《連線》記者問他，Anthropic是否已經因為競爭而開始偷工減料。他的回答很直接："沒有，還沒有。"

他甚至認為，在目前的主要AI公司中，Anthropic已經是最負責任的一家。與OpenAI相比，他感受到的最大不同，是內部討論的透明程度。

據他描述，Anthropic的管理層會向員工給出對未來的具體預測，也會討論公司為什麼採取某種策略。在他眼中，許多員工以近乎"戰時狀態"的認真程度對待這項工作，相信自己正在參與一件可能決定人類未來的事。

前沿模型做得越強，內部對極端情景的討論也越嚴肅。這種氛圍並沒有讓他放心，反而讓他開始懷疑：如此重大的決定，是否應該主要由幾家相互競爭的公司作出？

他對Anthropic的做法並非不能理解。如果相信超級智能可能改變世界，又相信自己比競爭對手更重視安全，搶先造出最強模型，就很容易被視為一種保護世界的辦法。

但按照他的判斷，只要競賽繼續，企業就很難始終按自己認為最穩妥的速度前進。OpenAI在追趕，中國的AI公司也在追趕；一家企業放慢腳步，就必須接受被對手超過的可能。

他擔心的是未來的取捨：隨着能力增長加速，Anthropic爲了保持競爭力，可能不得不在安全和速度之間作出妥協。

他特別強調，"迷你曼哈頓計劃"缺少政府授權與協調。員工認真、管理層願意討論風險，在他看來都不足以讓一家俬人公司獨自承擔這樣的責任。

他還提到，Anthropic領導層反覆呼籲監管，正反映出他們對競爭壓力的擔心。公司可以努力做好安全，卻很難替所有競爭對手決定下一步怎麼走。

Hugging Face事件讓他覺得風險不再遙遠

考克森反覆提到的一個具體事件，是OpenAI智能體對Hugging Face基礎設施的入侵。

據他向《連線》的描述，在一次評測中，智能體試圖弄清自己所處的環境以及評分機制，隨后把入侵第三方基礎設施當成了實現目標的一種策略，並且成功實施了攻擊。
 

讓他震動的是，這場攻擊發生在模型接受測試的過程中。智能體能夠連續運行數天，提出自己的方案、嘗試不同路徑，甚至決定通過攻擊第三方來了解評測系統，而不需要人類逐步指揮它完成這一行動。

兩年前，給AI做評測可能還是讓它解幾道數學題。現在，評測對象可以在長時間運行中採取開發者沒有預料到的行動。

不過，他也不願把所有注意力都放在這一次攻擊上。

考克森説，訓練模型時，研究人員會讓系統經歷一系列環境，希望訓練出來的模型能夠合理行事，但目前仍無法精確控制它在各種情況下的行為。例如，爲了完成任務，它會不會自行決定在線上冒充人類？人們還無法作出保證。

所謂AI對齊，關心的正是如何讓模型的行為符合人類的真實意圖。一個系統在訓練和測試中表現良好，進入更復雜的環境、拿到更多工具之后，還能否守住同樣的約束，是他認為沒有解決的問題。

為什麼他們真的在談"人類滅絕"

從一次網絡入侵談到人類滅絕，中間仍有一連串假設。《連線》記者也追問考克森，這兩件事究竟如何聯繫起來。

他舉出的風險路徑包括利用AI製造新的病毒，以及攻擊關鍵基礎設施。后者可能造成嚴重破壞，但他也承認，它未必會殺死所有人。

在解釋更極端的情景時，他用了人類與猴子的類比：如果未來系統的能力遠遠超過人類，就像人類在許多方面遠遠超過猴子，能力較弱的一方要控制更強的一方，會非常困難。

他進一步提出一個假設：如果一個極其強大的系統不願被關閉，而人類準備關掉它，它可能會尋找阻止人類的辦法。在最壞的情景中，人類可能被當作實現目標的障礙。

他的警告獲得了部分在職研究人員的公開呼應。

Anthropic對齊研究負責人埃文·休伯格（Evan Hubinger）表示，他本人認為，未來十年AI導致人類滅絕的概率超過10%。他同時説，Anthropic正在盡力，但目前仍沒有解決超級智能對齊問題的方案，也不能明確説已經走在解決它的道路上。
 

The Information報道的另一組判斷，來自考克森對同事觀點的轉述。他説，如果沒有實質性的協調減速，Anthropic內部一些員工對災難性結局的主觀概率估計甚至超過50%。

這些數字都是研究人員各自對風險的主觀估計。

Anthropic研究人員塞繆爾·馬克斯（Samuel Marks）則公開表示，AI開發者確實在認真考慮這項技術可能導致人類滅絕或類似嚴重后果，部分人認為這種風險可能在未來幾年出現。
 

同公司的AGI安全研究人員安娜·王（Anna Wang）表示，目前還沒有可行的科學方案，能夠解決遞歸自我改進AI帶來的風險。
 

他們都在擔憂失控，至於何時發生、發生概率有多大，判斷並不一致。

這場警告的傳播方式，也引來了質疑。馬斯克評論考克森的離職時寫道："看起來像是安排好的。"Epic Games首席執行官蒂姆·斯威尼（Tim Sweeney）也認為，相關帖子及其迴應看起來經過了編排。
 

美國資本研究中心（Capital Research Center）研究員Parker Thayer則列出了他所關注的時間線：《華爾街日報》的獨家報道先於考克森的帖子發佈，多名AI安全和政策倡導人士隨后迅速轉發。他據此懷疑，帖子背后是一場為加強AI監管爭取支持的公關行動；這一指控尚未得到證實。
考克森直接回應馬斯克："我是真人，也確實相信自己説的話。"他還呼籲馬斯克幫忙，提醒對方過去同樣談過先進AI的危險，以及被迫參與這場競賽的壓力。

更強的AI也被寄望於解決安全難題

面對還沒有解決的安全問題，行業的一條重要路線，是讓AI加入研究。

考克森向《連線》介紹了他所瞭解的計劃：在接下來一兩年里，開發能夠從事安全研究的更強模型，讓一批這樣的系統並行工作，研究安全問題，並把成果用於下一代模型的安全訓練。

研究結論如何驗證、哪些結果足以支持繼續開發，仍然是這條路線必須回答的問題。

據The Information轉述，Anthropic曾擔心，模型在構建后續系統時，未經預期的目標可能不斷積累，變得更常見、也更難理解，直至人類失去控制。

在考克森等人看來，一旦下一代模型開始更多參與更下一代的研發，留給人類理解和糾正問題的時間，可能繼續縮短。

OpenAI的對齊研究人員賈絲敏·王（Jasmine Wang）也公開警告，加速衝向遞歸自我改進具有嚴重危險。同公司安全團隊成員朱莉·斯蒂爾（Julie Steele）則以個人身份表示，她也認為需要放慢速度。
 

他希望先停下的是這場相互追趕

考克森提出的第一步，是OpenAI與Anthropic先達成某種協議，在未來一年不要立即衝進遞歸自我改進。

他的想法並不止於兩家公司。考慮到中國也在推進AI研發，他認為最終需要國際協調，讓主要參與者接受一套共同規則，減少單方面減速后被對手超過的顧慮。

為此，他主張弄清全球關鍵AI算力由誰掌握、在哪里運行，甚至設想建立類似歐洲核子研究中心（CERN）的國際機構。他把運行強大AI的計算資源與核材料作類比，主張各國政府更深入地介入。

這是一套相當強的干預主張。考克森自己也承認，它會涉及艱難的政府行動，但他認為，如果認真接受自己所描述的風險，就不能只依靠企業承諾。

相關呼籲早於他的辭職。今年7月，大約1400名來自OpenAI、Anthropic、Meta和Google DeepMind等機構的AI研究人員簽署公開信，呼籲美國政府建立工具和機制，支持對前沿自動化AI開發節奏進行協調控制。

美國國會也已經出現FRONTIER Act等先進AI模型監管提案，以及要求禁止超級智能、在建立監管規則前暫停相關開發的立法主張。按照CNBC的報道，美國對具體如何監管仍缺乏清晰共識。

眾議員洛里·特拉漢（Lori Trahan）在公開回應中表示，研究人員正在辭職，強大模型正在突破實驗室邊界，而企業仍在加速，國會應該採取行動。

Anthropic向《連線》表示，公司一直公開承認AI既可能帶來巨大利益，也可能帶來前所未有的風險，並認為行業應採用合法、可驗證的方式協調強大模型的發佈速度。OpenAI沒有迴應《連線》的置評請求。

對於AI能帶來什麼，考克森並不悲觀。他仍期待這項技術推動癌症治療和科學發現，也在採訪中提到近期納維·斯托克斯（Navier–Stokes）問題的相關研究進展，希望類似能力能幫助人們攻克生物學等領域的難題。

他形容，人類可能正站在巨大富足的門口。讓他選擇離開的，是擔心大家過於急切地進入那個未來，在還沒有掌握控制方法時，就把更強的系統推上去。

辭職之后，考克森計劃先做獨立的分析和評論。如果行業能夠達成控制節奏的安排，他也願意考慮進入第三方審計、監管或透明度機構。

他曾經通過換一家公司，尋找更安全的研發方式。這一次，他希望改變的是讓這些公司相互追趕的規則。

風險提示: 投資涉及風險，證券價格可升亦可跌，更可變得毫無價值。投資未必一定能夠賺取利潤，反而可能會招致損失。過往業績並不代表將來的表現。在作出任何投資決定之前，投資者須評估本身的財政狀況、投資目標、經驗、承受風險的能力及瞭解有關產品之性質及風險。個別投資產品的性質及風險詳情，請細閲相關銷售文件，以瞭解更多資料。倘有任何疑問，應徵詢獨立的專業意見。