熱門資訊> 正文
2026-10-26 16:49
炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛力主題機會!
(來源:量子位)
很意外,但也不意外。
事情是這樣的——
沙利文和頭豹研究院最新發布了一個名叫《中國全棧AI雲服務市場報告2026H1》的報告,然后在Neocloud(新雲)這條賽道里,近一半的份額,竟然被同一家中國公司包攬了。
Neocloud,如其名,並非像傳統的綜合雲廠商那樣先有云再往上摞AI,它是從成立之初就與AI深度綁定的那種。
而且這條賽道在海外也是非常火熱,像CoreWeave這樣的明星公司,光是積壓訂單就頂到了1042億美元;加之國內綜合雲巨頭們也在全面轉向AI。
而且就在今天,馬斯克也來評論Neocloud賽道,但潑的卻是一盆冷水。
他表示,就在過去幾周,對於那些在AI數據中心之外沒有可觀收入的公司,債務市場幾乎已經完全關上了融資的大門。頗有種馬太效應的感覺:
一邊是海外Neocloud被預言將迎來一輪大洗牌,一邊是國內綜合雲巨頭在全面轉向AI,在如此格局之下,一家中國公司能拿走近一半份額,所以很令人意外。
那麼這家公司到底是誰?
不賣關子,它正是商湯科技,更準確地説,是它旗下的AI基礎設施平臺商湯大裝置(SenseCore)。
雖然Neocloud這個名字是新的,但商湯做這件事卻已有多年。從服務內部AI研發,到2022年向外部客户提供雲服務,再到今天自己組織大規模推理、持續供應Token,大裝置的產品形態一直在變。
現如今,與其説商湯大裝置是一個算力服務平臺,它倒更像是一座體量持續膨脹的Token工廠。
因為在今年年初之際,商湯大裝置每天服務的Token大約是4000億;到了7月底漲到了2.42萬億;9月底,已經是6萬億的規模。按計劃,今年第四季度更是要衝到日均10萬億!
但如果瞭解商湯大裝置背后的發展歷程,你會發現,它能拿下這近一半的份額,其實也並不意外。
要回答這個問題,我們不妨先回憶一下年初爆火的小龍蝦(OpenClaw)。
當時小龍蝦雖然熱度居高不下,但卻頻頻曝出諸如此類的消息:
有位IT從業者讓小龍蝦幫忙搜資料、寫一份2000字的Word文檔,結果來回一折騰,700萬Token就沒了……
之所以這麼能燒Token,是因為現在Agent做任務並非是一問一答的模式,它需要自行去拆解任務、查閲資料,然后反覆確認執行,每一步都在消耗着Token。
正如沙利文在報告中指出的那樣,在Token生成速度相同的情況下,Agentic AI對算力的要求比傳統大模型高出10倍以上。
而這個數字放到全國範圍來看只會更加誇張,例如根據國家數據局的統計,今年3月我國日均Token調用量已經超過140萬億,兩年時間漲了一千多倍。
據商湯大裝置CTO宣善明回憶,去年一整年,大家幾乎都在忙着訓模型;到了今年春節前后,小龍蝦帶火了Agent,再加上國產模型和海外頭部模型的差距明顯縮小,Token需求一下子就起來了。
需求變的不只是量,還有方向。
此前,大模型的主戰場在訓練,大家拼的是誰的集群更大、算力更多。而當AI工作負載從訓練擴展到推理和Agent應用,客户關心的東西也跟着變了,單位Token成本、推理延迟、模型部署效率、多種負載能否靈活調度,開始比單純能租到多少算力更重要。
換句話説,算力生意的計量單位,正在從「Flops」變成「Token」。
Neocloud正是在這波變化里成了新貴。和綜合雲廠商先有云、再把AI能力一層層加上去不同,Neocloud從一開始就只為AI服務。用商湯大裝置產品總經理盧國強的話説,前者是「雲+AI」,后者是「AI+雲」。
據Synergy Research統計,2025年全球Neocloud市場規模已達到250億美元,預計到2031年將逼近4000億美元。
△圖片由AI生成
不過,同樣叫Neocloud,海外和中國走的卻是兩條完全不同的路。
以CoreWeave為例,它是「挖礦」起家,手里本來就攢着一大批高端GPU,藉着大模型訓練的東風順勢轉型,主要生意是把成規模的高端算力租給模型公司和科技巨頭。
這種模式重資產,擴張高度依賴融資,一旦資本環境收緊,壓力很快就會傳導過來,這也是馬斯克預言200多家Neocloud里能活下來的不多的原因。
此外,海外Neocloud目前更多面向AI訓練,在推理層相對薄弱,而商湯大裝置和它們最大的不同,在於兩點。
第一是推理層能力,也就是把複雜、多元的算力,持續轉化成低成本、穩定的Token的能力,這恰恰是Agent時代客户最需要的。
第二是國內的算力環境。高端GPU供給有限,國產芯片這幾年雖然發展很快,華為、平頭哥、寒武紀等廠商都拿出了各自的產品,但路線多元、長板各異,軟件生態也還在逐步成熟,算力整體呈現出碎片化的特點。
這兩個前提疊在一起,中國Neocloud要解決的不僅是有沒有卡,而是怎麼把不同的芯片、不同的模型和不同的客户需求,擰進同一套能穩定跑起來的系統里,並且讓每一個Token都足夠便宜。
這件事,商湯大裝置早早便開始佈局。宣善明提到,他們2018年就開始做各種國產芯片的適配和調優,幾乎所有主流國產芯片的集群都摸過一遍。每款芯片擅長什麼、最適合放在哪個環節,都是一款一款試出來的。
有了這兩個前提,我們再來看商湯大裝置的打法,就會清楚很多。
它做的並非是單點的算力出租,而是一套「算力-平臺-方案-服務」的端到端系統化能力。向下,它連接電力、儲能、AIDC和異構硬件;向上,它連接模型、應用與行業,目標是幫企業以更高的投入產出比,把AI真正轉化成價值。
這套體系里,最能體現中國Neocloud特色的有兩件事,一是異構混推,二是算電協同。
先説異構混推。面對長板各不相同的國產芯片,商湯大裝置採用的核心方法是PD分離(Prefill-Decode Disaggregation)。
所謂PD分離,我們可以理解為大模型在回答問題時分了兩個步驟。先是「讀題」,一口氣讀完輸入,叫Prefill,主要吃算力;再是「寫答案」,逐字往外生成,叫Decode,更看重顯存帶寬。
△圖片由AI生成
既然兩步對硬件的要求不一樣,PD分離就把它們拆開,交給不同的芯片去做。國產卡負責讀題,高端GPU負責寫答案,中間再通過KV Cache把「讀題筆記」傳過去。
如此一來,國產卡的長處被用足了,短處也不再拖后腿。
這背后,是商湯大裝置多年摸索出來的一套思路。宣善明説,他們從2018年起就和國產芯片打交道,很清楚每款芯片哪一點是長處、哪一點是短處,也知道哪些短處在某些場景里其實並不受影響。
比如在PD分離里,國產卡只負責Prefill,那麼只要它的算力夠用,其他方面都不必苛求,團隊要做的,就是把「用國產算力跑Prefill」這一個點上的技術難點全部攻克。
也就是説,不必等一款國產卡在各個維度上都追平高端GPU纔去用它。不少在外界看來投入產出比不高的國產卡,放進這套分工里,反而能撬動高端GPU的產出,讓整體Token產能成倍放大。
據商湯大裝置給出的數據,這套方案的整體推理性價比已經達到主流高端GPU的1.25倍。
當然,這種分工也有邊界,超長上下文這類請求,目前仍由高端GPU來兜底,以保證服務質量。
方案跑通之后,商湯大裝置已經在看下一步。宣善明提到,目前他們重點關注兩個方向。
一個是跨域PD分離,也就是把PD「拉遠」,比如在A城市做Prefill,在B城市做Decode。現在各地都在建智算中心,其中不少存量的國產算力閒置着,用不起來。如果能把它們和其他地區的算力連起來,這些資源就能被盤活。
這在以前是不敢想的。宣善明説,得益於模型架構的變化,傳輸的數據量在過去幾個月里大幅下降,再加上通信技術上的提升,跨域PD分離纔有了可能。當然,也不是所有請求都適合往遠處送,哪些需要本地立刻處理、哪些可以交給遠程,都要先做分類。目前,這項技術仍處於驗證階段。
另一個是AF分離,也就是在PD分離的基礎上,把模型內部的Attention和FFN計算也拆開,交給各自更合適的硬件。在宣善明看來,這個方向整個行業都還處於預研階段,因為它離不開硬件層面的支持,只做軟件意義不大,所以商湯大裝置也在和硬件廠商聯合推進。
無論是哪個方向,很多問題都「只有當你真的去做了大規模異構的時候,纔會發現」。商湯大裝置SenseCore平臺負責人陳希也提到,從網絡流控到KV Cache的傳輸,任何一個環節沒調好,都會影響整個集群的表現,「同樣一套代碼、同樣的硬件配置,放到另外一家,可能就跑不出這種效果」。
再來看算電協同。對Neocloud來説,電費是一筆繞不開的賬單。
對此,商湯大裝置的應對辦法,是今年WAIC上發佈的算電協同Agent。它聯動能源大模型和寧德時代儲能系統,每15分鍾預測一次,每5分鍾修正一次,來決定哪些任務現在跑、哪些往后挪一挪;同時動態調整儲能在不同時段的充放電策略,在不影響任務SLA、不增加額外超容成本的前提下,協同優化算力負荷與用電成本。
△圖片由AI生成
簡單來説,這個思路和我們趕在谷電時段開洗衣機差不多。離線推理、模型評測這類任務,挪到電力負荷低的時候跑,儲能系統則像一個巨型充電寶,在電價低時充電,電價高時放電。
今年7月上海電網發起需求響應時,臨港數據中心在兩小時內讓出了75%的用電容量,平時的用電大户,在關鍵時刻成了電網可以調用的彈性容量池。
這樣算下來,單位電力成本的Token產出提升了80%,平均電費比同地區IDC低10%。商湯還順勢提出了一個新指標TPW(Tokens Per Watt),和只關注機房省不省電的PUE不同,它衡量的是每瓦電到底換來了多少有效Token。
算力和電費的賬都算明白了,Token也越造越多。那麼接下來的問題就是,這些Token有沒有人用,能不能真正用到業務里。
商湯大裝置的Token工廠除了服務商湯自家的模型,已經為多家外部基礎模型廠商提供服務。
宣善明把這比作「批發服務」。相比於「零售」,批發單筆可能賺得少一些,但能直接對接「原廠」,並依靠長期信譽、技術能力和穩定交付建立競爭力。先把頭部基模廠商服務好,口碑立住了,再去談大客户時,對方自然相信你供的貨是真的,不摻水。
不過,把Token賣給模型廠商是一回事,讓AI真正進入各行各業又是另一回事。
如今AI落地已經進入深水區。模型能力越來越強,可要真正接進企業的實際生產流程,難度遠比想象中大,不少行業都面臨着「有模型,用不起來」的尷尬。
這也是商湯大裝置做FDE的原因。面對行業客户,商湯大裝置會派出FDE(前線部署工程師)駐場,和客户一起梳理需求、調模型、推動上線。按照商湯大裝置TokenHub總監周明駿的説法,FDE既不像網上傳的那麼神,也不是傳統意義上的外包。
以上海市規劃資源局量子城市項目為例,城市規劃資源管理涉及大量地圖、規劃圖紙、統計數據和專業報告,不同業務之間信息複雜、專業門檻也很高。他們希望AI不只是能夠回答政策和業務問題,還能真正理解地圖和規劃圖紙,完成空間分析、數據統計,並輔助專業報告生成。
商湯大裝置與上海市規劃資源局共同打造了全國規劃資源領域首個基礎大模型——「雲宇星空大模型」。模型擁有6000億參數,並深度嵌入規劃資源業務流程,具備「問不倒、能調圖、會統計、能識圖、會報告」等能力,能夠覆蓋從知識檢索、圖紙理解、空間分析到決策支撐的完整工作流程。
圍繞這類項目,商湯總結出一套「AI123」交付法則,1天澄清需求,2天產出Demo,30天穩定版本上線。周明駿説,這個速度並不是喊出來的,背后靠的是提前沉澱好的AI中臺和多模態數據處理管線。
那麼FDE這種模式,會不會讓商湯大裝置變成一家系統集成商呢?
宣善明表示,FDE深入業務一線,「全程陪伴」客户,把標杆案例快速做出來,再沉澱成標準產品,「我們不希望是一個人力密集型的企業」。
除此之外,效率這個詞,也是在與商湯大裝置團隊交流過程中,被反覆提到的關鍵詞。
根據沙利文的判斷,未來三年,AI全棧雲廠商會從資源競賽進入效率與生態競賽。宣善明打了個比方,以前做訓練算力有點像房地產,卡買進來、租出去,每個月收一份固定回報;現在做Token,回報的波動非常大,可能虧本,也可能賺得特別多,拉開差距的就是效率。
所以,現在我們回頭再看這次商湯大裝置拿下近一半份額的成績,可以明顯看到,它並不是靠把卡堆滿機房堆出來的。
從2018年開始一款一款地適配國產芯片,到用PD分離讓不同芯片各司其職,再到算清每一度電能換來多少Token,這麼一看,也就不意外了。
而對於接下來的方向,宣善明表示,他們會把更多的精力和資源放在國產芯片上,和國產芯片、國產生態一起往前走。
此刻,臨港機房里那一排排國產卡,大概正在替某個Agent讀題。