熱門資訊> 正文
2025-10-28 18:38
剛剛,這樣一個消息在 Reddit 上引發熱議:硅谷似乎正在從昂貴的閉源模型轉向更便宜的開放源替代方案。
被稱為「SPAC 之王」的知名美國企業家和投資人 Chamath Palihapitiya 公開表示,其團隊是 Bedrock 的前 20 大用户,但現在已將大量工作負載遷移至 Groq 平臺上的中國模型 Kimi K2,因為該模型的性能顯著更優,且比 OpenAI 和 Anthropic 都要便宜得多。
Kimi K2 是由月之暗麪糰隊開發的混合專家(MoE)大型語言模型,總參數量達 1 萬億,激活參數量為 320 億。此前,知名雲端開發平臺 Vercel、AI 編碼助手 Cline 和 Cursor、Perplexity 和 GensparkAI 應用也都接連宣佈接入 Kimi K2 模型。
「最終決定切換到開源模型,核心就是成本考量。」Palihapitiya 透露,其使用的編程工具仍然通過 Anthropic 的系統運行,Anthropic 的技術很棒但成本太高。而 DeepSeek 模型一推出就便宜很多,但要切換過去得花費幾周甚至幾個月時間。「AI 模型迭代這麼快,要突然把所有提示詞切換到不同的大語言模型上並不容易,因為這些模型需要經過微調與工程適配,才能在同一個系統里正常工作。」
在談及模型所有權及風險問題時,Palihapitiya 介紹,Groq 接入中國模型的做法是:拿到這些模型的源代碼,進行部署、分支開發,最終把模型部署在美國本土,由美國人在美本土的數據中心里操作。服務模式上,由於 Groq 是把開源模型部署在自有基礎設施上,他們通過開放的 API 就能實現 「token 進、token 出」。
有網友將此舉稱為「瘋狂的舉動」,還有人評價道,「真正的結構性轉變」,「打賭 OpenAI 沒有預見到這種情況的到來」,「性能和成本正在改寫 AI 堆棧遊戲!」
不過,也有網友認為,「Palihapitiya 持有 Groq 公司相當多的股份,他之所以推動這件事,不過是爲了給自家投資站臺罷了。」
而該消息最早出自 Palihapitiya 近期參與的一檔播客節目,當時的對話嘉賓還包括白宮首位人工智能主管、前 PayPal 首席運營官 David O. Sacks 以及企業家 David Freeberg、知名天使投資人 Jason Calacanis。節目中,他們還探討了 DeepSeek 等這類中國優秀開源 AI 模型給美國 AI 產業帶來的壓力和困境。
以下為對話內容,InfoQ 在不改變原意的基礎上進行了編輯和刪減:
Jason Calacanis: 中國大語言模型公司 DeepSeek 發佈了新開源的 DeepSeek 3.2 EXP 模型,這款新模型給美國 AI 行業帶來了壓力。該模型速度更快、成本更低,還搭載了一項名為 DSA(DeepSeek 稀疏注意力機制)的新功能,能加快大型任務的訓練與推理速度。最關鍵的是,它能將 API 成本降低高達 50%。新模型的收費標準為:每百萬次輸入 28 美分,每百萬次輸出 42 美分。而 Anthropic 公司的主流模型 Claude(很多開發者和初創公司都在使用),同類服務收費約 3.15 美元,價格是 DeepSeek 新模型的 10 到 35 倍。顯然,現在各家都在快速降價。
另外要説明的是,這個模型是開源的,大家要清楚,它已經可以在亞馬遜雲科技和 GCP(谷歌雲)上使用了,至少 3.1 版本是這樣。我不知道 3.2 版本現在是否也能在這些平臺上用,但我從很多初創公司那里聽説,他們正在測試、試用這個模型,有些甚至已經投入使用,原因就是它太便宜了。
Kimi 模型是由月之暗面開發的,這是該領域另一家中國初創公司。
David Freeberg: 我認為當前 AI 領域正在進行全面的架構重構,而且從成本和能耗角度看,我們還處於 「每 token 成本優化」 的初期階段。據我瞭解,美國的實驗室目前也在推進類似方向的研究,預計會取得相近的成果。或許中國在這方面稍佔先機,但我們更該關注整個技術發展的趨勢。我在想,如果未來幾個月內,這些架構革新真能讓成本和能耗降低 10 倍、100 倍、1000 倍甚至 1 萬倍,那從模型的能耗需求和每 token 成本來看,會帶來怎樣的影響?
Chamath Palihapitiya: 我們是 Bedrock(亞馬遜雲科技 AI 服務平臺)的前 20 大用户,所以我來跟大家説説實際情況。我們已經將大量工作負載轉移到了 Groq 平臺上的 Kimi K2 模型,因為它的性能確實強得多,而且説實話,比 OpenAI 和 Anthropic 的模型便宜太多了。但問題在於,我們使用的編程工具必須通過 Anthropic 的系統運行,Anthropic 的技術確實很棒,但成本實在太高。
現在的難題是,AI 模型迭代這麼快、互相追趕,要突然把所有提示詞切換到不同的大語言模型上並不容易,因為這些模型需要經過微調與工程適配,才能在同一個系統里正常工作。比如,我們爲了優化 Kimi 或 Anthropic 模型的代碼生成(codegen)或反向傳播(back propagation)效果所做的調整,沒法直接切換到 DeepSeek 模型上。即便 DeepSeek 模型一推出就便宜很多,要完成切換也需要幾周甚至幾個月時間。所以這就像一場複雜的 「博弈」,作為用户,我們一直很糾結:是該直接切換,承受過程中的麻煩?還是等着其他模型迎頭趕上?
但説實話,目前還沒法讓切換變得簡單。周末有一家擁有大型模型的公司來找我們,提前展示了他們的下一代模型。模型本身確實很出色,但周一早上我和團隊開會時就懵了:「我們該怎麼辦?」 完全沒頭緒。是放棄現有方案?還是轉而投入資源,把所有工作負載重構后遷移到新模型上?這是個非常棘手的問題,而且我們處理的任務越複雜,這個問題就越難解決。
David O. Sacks: 我覺得開源這個話題其實非常有意思。我本人很支持開源軟件,因為它在某種程度上能制衡大型科技公司的權力。回顧科技史,我們會發現,很多重要的技術領域最終都會被一兩家科技巨頭壟斷,它們掌握着絕對的權力和控制權。而開源提供了另一條路徑,對吧?開源開發者社區會把技術成果公開,任何人都能拿過來在自己的硬件上運行,不再依賴巨頭。 可以説,這是一條通往 「軟件自由」 的道路。從這一點來看,開源是很好的。
但現在的問題在於,如今所有領先的開源大模型都來自中國。中國在開源領域的投入力度非常大,比如 DeepSeek 就是首個主流的中國開源大模型,Kimi 也是,還有阿里巴巴的通義千問 Qwen。所以如果希望美國在 AI 競賽中獲勝,我們其實都很矛盾:一方面,有開源方案能替代閉源的專有模型,這是好事;但另一方面,這些優秀的開源模型全來自中國。當然,美國也有一些重要的嘗試,比如 Meta 就為 Llama 模型投入了數十億美元。但 Llama 4 模型發佈后,很多人都覺得不盡如人意。而且有消息稱,Meta 可能會放棄開源,轉向純閉源的專有模式。OpenAI 也發佈過開源模型,但性能遠不及他們的前沿模型。
也有一些初創公司在做嘗試。比如有家叫 Reflection 的公司,前景看起來不錯,他們正在開發一款美國本土的開源模型。但目前來看,在 AI 領域,開源模型可能是美國唯一落后於中國的板塊。至於技術棧的其他所有環節,閉源模型、芯片設計、芯片製造、半導體制造設備,乃至數據中心 ,我認為美國都是領先的。但開源這一個領域,確實有點讓人擔憂。
Jason Calacanis: 有兩點值得一提。第一,OpenAI 名字里的 「Open」(開放),原本意味着要做開源,現在想來還挺諷刺的。第二,蘋果目前在 AI 領域落后於所有同行,卻推出了一款很有意思的開源模型。所以規律似乎是:落后的時候就搞開源,比如現在的蘋果,還有之前的中國;領先了就關起門來,比如后來憑藉 ChatGPT 佔據優勢的 OpenAI。對了,我跟你説過蘋果的 Open ELM 嗎?是蘋果的 「高效語言模型」(Efficient Language Models),這個模型值得關注。
Chamath Palihapitiya: 我能告訴你什麼會讓開源與閉源的競爭更激烈:本質上,這已經成了美國和中國的對抗。美國走閉源路線,中國走開源路線,至少在具備規模效應、能實際落地的模型上是這樣。
David O. Sacks: 但其實不一定非要這樣,對吧?因為美國也可以推出開源模型。
Chamath Palihapitiya: 沒錯,你説得對。我只是想説,就當下的實際情況來看,高性能閉源模型都是美國的,高性能開源模型都是中國的。那接下來會面臨什麼問題呢?Freeberg 之前提到過,就是生成輸出 token 的能耗和成本。昨天我和一位大型能源企業的負責人聊過,情況不太樂觀。這位能源 CEO 跟我説:「未來五年的趨勢基本定了。如果找不到有效的解決方案,電價未來五年肯定會翻倍。」 現在你想想,消費者會怎麼看待 AI 的使用?像我們這樣的公司,爲了儘量降低下游成本,都在找最便宜的模型用。
但很快,成本問題會變成能耗問題,事情會變得很複雜。而且,他還提到,這對科技巨頭來説也是個巨大的公關危機。本來大家對科技巨頭的印象就不好,要是再把電價翻倍的鍋扣到它們頭上,説 「就是這些公司讓我五年內電費漲了一倍」,那它們就麻煩了。必須趕緊找條出路,不然形象會一落千丈。電費翻倍甚至可能讓人們丟了工作,對吧?確實太糟了。不管事實是不是這樣,大家都會這麼想。
他提出了兩個解決方向,我覺得值得考慮。第一個是 「交叉補貼」,簡單説就是讓科技公司按更高的費率繳納電費, 以它們的現金流完全承擔得起, 而且這個費率要明顯高於當地其他用户。這樣一來,普通家庭的電費能保持穩定甚至下降,數據中心的電費則提高,由 Meta、谷歌、蘋果、亞馬遜雲科技這些手握數千億現金流的巨頭來承擔。第二個辦法是建立一套機制,在數據中心周邊的每户家庭都安裝電池之類的儲能設備。這樣這些家庭就能更好地應對電價上漲,不用多花錢。
Chamath Palihapitiya: 對,沒錯。我之前一直在説,選擇開源模型的經濟邏輯更合理, 畢竟我既付不起 3 美元一個輸出 token 的費用,也承擔不起后續的其他成本。
David O. Sacks: 能不能解釋下你們在用 Kimi 這類模型的時候,具體是怎麼運作的?因為我覺得很多人對 「開源模型」 的理解有誤區。不少人覺得,中國公司發佈的模型,就算公開了,所有權還是屬於他們。但事實不是這樣的。一旦模型發佈,所有權就不再歸他們了,任何人都能獲取代碼使用。而且你不用在中文雲上運行,數據也不會傳回中國,而是把模型拿到自己的基礎設施上運行。你能詳細説説這個過程嗎?
Chamath Palihapitiya:我剛開始做 8090 公司的時候,唯一的選擇是 Bedrock, 那是亞馬遜雲科技提供的一項服務,簡單説就是 「推理即服務」。當時我們開發產品需要用到推理功能、需要推理 token,所有需求都是 Bedrock 來承接的。它有點像 AI 領域的亞馬遜雲科技,專門做 AI 垂直領域的支持。他們有自己的服務器,都放在美國的數據中心里,由美國人管理。他們會篩選一批模型,確保能支持這些模型的使用。我們最初就是這麼起步的。但和所有業務一樣,我們得控制成本、優化運營模式,所以一直在找亞馬遜雲科技之外的其他模型和服務方來滿足需求。 説實話,亞馬遜雲科技的收費太高了。
后來我參與孵化了另一家公司,叫 Groq。他們有自己的雲平臺,一開始是和 Llama 合作,后來又和 OpenAI 合作,把后者的開源模型接入平臺。除此之外,他們還接入了幾款中國的模型。他們的做法是:拿到這些模型的源代碼,進行部署、分支開發(反覆分支優化),最終把模型部署在美國本土,由美國人在美本土的數據中心里操作。簡單説,中國提供的相當於 「施工藍圖」(技術路線圖和架構方案),而我們美國公司負責 「蓋房子」(落地部署),然后推出服務。
所以我們最終決定切換到開源模型,核心就是成本考量,它確實便宜太多了。而且 Groq 對我們這種應用公司(8090)來説,就像第二個亞馬遜雲科技。他們會提供 API 接口,和 OpenAI、ChatGPT 這類閉源模型的模式一樣:你提交提示詞,他們返回結果,本質就是 「token 進、token 出」。不同的是,Groq 是把開源模型部署在自己的基礎設施上,再把 API 開放給我們,我們通過他們的 API 實現 「token 進、token 出」。對我這種用户來説,選哪個平臺根本不用想別的, 純看價格,哪里便宜選哪里。這和上一代互聯網的邏輯沒區別:以前用亞馬遜雲科技,后來會對比 GCP、Azure,問 「哪家更便宜」。因為説到底,你只是要個數據庫服務,或者 Snowflake 這類工具,不管服務來自哪里,選最便宜的供應商就行。
David O. Sacks:首先,就像你説的,只要懂技術,自己搭基礎設施運行模型會更便宜。其次,企業也喜歡用,因為可定製性強,以后肯定會有大量針對特定場景的開源模型微調,這是毫無疑問的。而且企業通常想把模型部署在自己的數據中心,因為這樣能把自家數據留在自己的基礎設施里,更安全。但現在的問題來了:這些模型經過分支開發后,已經不再是 「中國模型」 了。這些模型現在由美國公司運營,但源頭是中國,而且它們可能會用於一些關鍵基礎設施, 這就帶來了問題。Groq 是怎麼測試這些模型是否安全、是否存在后門的?他們是怎麼考慮這個風險的?
Chamath Palihapitiya: 他們有一套完整的流程來處理這個問題,但具體細節我不清楚,因為我沒問過他們具體做了哪些測試。
David O. Sacks: 很多人覺得,運行中國模型就一定會把數據傳回中國,但只要你在自己的基礎設施上運行,就不會有這個問題。我覺得真正的擔憂更多是理論層面的:中國模型會不會預先植入后門、漏洞或可被利用的缺陷?
Chamath Palihapitiya: 嗯,如果你用的是(模型的)編譯版本,那確實有可能,但如果是拿開源代碼自己部署,就不會有這個問題。要是有人真的發現了漏洞,肯定會很快在社區里廣泛分享。現在,所有大型安全公司、雲服務商和主流模型開發商都在想方設法證明其他公司的模型更差、有缺陷。這種競爭循環其實很有價值,最頂尖的計算機科學家都在盯着這件事。
就在昨天,我和一個意大利人聊過,他是某家模型公司的首席安全專家,負責安全業務。他們會測試所有內容,就是爲了找出漏洞,因為這樣能拖慢競爭對手的進度。這讓我挺樂觀的,目前這些模型還沒出現任何問題,説明大家到目前為止都還算負責任。
David O. Sacks: 説到底,AI 首先是一款消費產品,會越來越普及。所以問題就來了:既然如此,我們該如何應對它帶來的國家安全風險?但幾年前,政策制定者認為 「可以阻止 AI 發展,只讓兩三家公司掌控」,這種想法即便現在看來也很荒唐。他們當時的思路太集中化了,但現在事實很清楚:不管有些政策制定者怎麼想,AI 已經高度去中心化了。美國有五家主流閉源模型公司,中國有八款主流模型,還有無數初創公司在入局。未來的 AI 會高度去中心化、垂直化,而且絕大多數 AI 應用都是無害的,無非是商業解決方案、消費產品、熱門視頻之類的,根本談不上 「核武器」 那種威脅。
參考鏈接:
https://www.youtube.com/watch?v=ddAwgZ6ietc&t=2704s
https://www.reddit.com/r/LocalLLaMA/comments/1ohdl9q/silicon_valley_is_migrating_from_expensive/
本文來自微信公眾號「AI前線」,整理:華衞,36氪經授權發佈。