熱門資訊> 正文
2025-02-24 08:38
DeepSeek如何以顛覆性訓練策略重構大型參數模型的成本公式?
1月底,美國知名半導體諮詢機構SemiAnalysis發佈的一篇主題圍繞「給Deepseek算經濟賬」的文章,一時間成為全球爆款。近日,心智觀察所就全球LLM模型競爭生態,如何穿透算力軍備競賽的表象,剖析大模型博弈中數據、算法、資本的三重角力等問題連線了SemiAnalysis。本次對話由心智觀察所與SemiAnalysis總裁Dylan Patel,資深分析師AJ Kourabi和David Wolfson共同完成。
心智觀察所:SemiAnalysis早在去年五月就發現了DeepSeek在MoE、RoPE、Attention等領域的創新貢獻,你們是如何敏鋭地捕捉到DeepSeek為AI模型帶來的突破性?當時行業是否低估了DeepSeek從V2到V3迭代的能力?
SemiAnalysis:我們一直密切關注AI領域的創新和進展,對DeepSeek取得的進步印象深刻。絕大多數領先的AI實驗室並沒有忽視DeepSeek——Anthropic的CEO公開表示,他們從V2甚至更早的時候就開始跟蹤DeepSeek的發展。我們認為,大多數實驗室都預計到了從V2到V3會有這種程度的改進,除了Meta。
早在2024年5月,SemiAnalysis就發現了DeepSeek V2相比同行的性價比優勢
心智觀察所:TCO模型(總計算成本)的搭建是一個非常複雜的項目,涉及服務器資本支出(CapEx)、員工工資等。SemiAnalysis是否有特定的計算參數模型,或者是否收到來自相關企業關於計算TCO方法的反饋?
SemiAnalysis:我們開發了自己獨有的解決方案,並與多家公司合作,提供諮詢服務以支持他們的集羣建設(注:可參見https://www.semianalysis.com/p/ai-cloud-tco-model)。
心智觀察所:根據你們的分析,與OpenAI相比,Meta和Google能夠更直接地接觸C端消費者。Meta AI是否可能對Google搜索造成不小的衝擊?「中國的Google」——百度搜索,是否也會遇到類似的問題?
SemiAnalysis:Meta擁有直接接觸數十億日活躍用户的能力,使他們能夠立即將大量用户羣體調用於他們引入的任何AI功能。
心智觀察所:未來DeepSeek將會繼續增強其多模態能力,你們如何評估他們與OpenAI(ChatGPT)、Google(Gemini)、Meta(Llama)和Anthropic(Claude)的競爭態勢?
SemiAnalysis:我們預計OpenAI在可預見的未來,憑藉其在人才、基礎設施和資本方面的卓越資源,將保持對DeepSeek的領先地位。DeepSeek正在利用一種新範式,通過瞄準低垂果實實現快速且成本效益高的進展。然而,隨着格局的演變,保持這種勢頭將變得越來越具有挑戰性。同樣,我們也預計Google將保持領先地位。
在競爭格局內部,Anthropic擁有顯著優於DeepSeek的模型,我們預計他們將在不久的將來會公開發布這些模型。另一方面,Meta處於更具挑戰性的位置,因為它是唯一一個致力於開源其模型的主要實驗室。據我們瞭解,他們正在開發一個新模型,預計其性能將超過DeepSeek,但改進的程度是否足以證明推迟發佈是合理的,這一點仍不確定。我們在下面這個鏈接中更詳細地探討了DeepSeek的進展:
https://semianalysis.com/2025/01/31/deepseek-debates/
心智觀察所:DeepSeek的崛起促使行業重新考慮Scale Law和「算力」的概念。你認為這將對英偉達H200的銷售預期產生什麼影響?
SemiAnalysis:DeepSeek推動了AI擴展的創新,證明了戰略性優化可以帶來有競爭力的結果。他們的進展增加了對AI基礎設施和計算資源的需求,同時加劇了頂級實驗室之間的競爭,進一步加速了該領域的進展。
心智觀察所:推理成本的下降是AI進步的一個標誌。從訓練到推理,總體而言,像GPT、Gemini和Claude這樣的產品如何應對持續降低推理成本的挑戰,以及他們如何調整其API定價策略?「傑文斯悖論」是否被過度炒作?
SemiAnalysis:許多頂級AI實驗室正在積極開發針對降低成本的創新,這些AI實驗室往往從這些創新中受益最多。當競爭對手提供更低的價格時,供應商不得不通過調整定價來應對。通常,API定價策略會根據市場壓力和推動成本下降的內部進展進行調整。然而,在某些情況下,供應商並沒有降低價格,而是擴大了對替代性模型的訪問——例如OpenAI在DeepSeek取得突破后不久發佈了o3-mini。我們認為「傑文斯悖論」並沒有被低估,並且我們之前的研究已經廣泛覆蓋了這個話題。
心智觀察所:你如何評估由OpenAI領導的「Stargate」計劃?該計劃需要動員大量人力和物力資源。這個計劃能否與「芯片法案」這樣的計劃形成聯動?
SemiAnalysis:OpenAI的「Stargate」計劃與芯片法案完全獨立,因為它專注於擴展AI基礎設施,而不是對半導體制造端的激勵。雖然兩者都涉及大量資源動員,但Stargate是一項私有部門的努力,旨在構建先進的AI系統,而芯片法案是一項政府計劃,旨在提升國內芯片產量。兩者之間沒有直接聯繫。
DeepSeek-V3競爭性分析
心智觀察所:SemiAnalysis正在吸引越來越多來自中國產業部門的關注,近來幾乎每篇文章都會引發廣泛討論。能否談談SemiAnalysis在市場研究和行業觀察方面是否有一套獨特的方法論?能否介紹一下你們團隊的規模和盈利模式?
SemiAnalysis:我們的方法並不是什麼「祕密配方」——而是對製造業、供應鏈、技術部署以及AI基礎設施戰略進行嚴格研究的結果。這項工作需要一個高度敬業的團隊,他們對技術和分析充滿熱情。隨着我們服務的擴展,我們的團隊也在不斷壯大,從最初的幾個人發展到全球約25名分析師,目前分佈於北美、歐洲和亞洲等區域。
SemiAnalysis沒有「中央辦公室」,我們的盈利模式基於銷售行業和金融研究。我們的客户範圍覆蓋從初創公司到全球財富100強公司,技術公司和投資公司各佔一半。我們的業務範圍包括從簡單的新聞通訊訂閲到與專門分析師進行為期數月的諮詢服務等。