熱門資訊> 正文
2025-10-19 11:02
本文來自格隆匯專欄:半導體行業觀察;作者:杜芹DQ
過去二十年,數據中心的性能進步主要依賴於計算芯片——CPU、GPU、FPGA 不斷演進,但進入生成式 AI 時代后,整個算力體系開始被網絡重新定義。在大模型訓練中,GPU 間的通信延迟與帶寬瓶頸,已經成為訓練效率的關鍵約束。尤其當模型參數突破萬億級,單個GPU已難以承擔任務,必須通過數千、數萬張 GPU 的並行協同來完成訓練。
在這一過程中,網絡的重要性愈發凸顯,近日,行業內的一則大消息是:Meta/Oracle兩大科技巨頭選擇了NVIDIA Spectrum-X以太網交換機與相關技術。此舉被業界視為以太網向AI專用互連邁出的重要一步。
同時也反映出英偉達正在加速向開放以太網生態滲透,綁定雲巨頭與企業客户。英偉達已經憑藉 InfiniBand控制了封閉的高端網絡,如今又正在「開放」的以太網生態中設下第二道圍牆。
過去幾十年,以太網是數據中心採用最為廣泛的網絡。但在AI為核心的時代,AI 的核心挑戰不在單個節點的算力,而在分佈式架構下的協同效率。訓練一個基礎模型(如 GPT、BERT、DALL-E),需要跨節點同步海量梯度參數。整個訓練過程的速度,取決於最慢的那一個節點——這正是 「尾延迟(Tail Latency)」 問題的根源。
因此,AI 網絡的設計目標不是「平均性能」,而是要確保極端情況下也不拖后腿。這對網絡延迟、丟包率、流量調度、擁塞控制乃至緩存架構,都提出了遠超傳統以太網的要求。為此,英偉達推出了Spectrum-X,首個專為AI優化的以太網解決方案。
那麼,Spectrum-X具體做了哪些改進呢?在NVIDIA最新白皮書《Networking for the Era of AI: The Network Defines the Data Center》中,英偉達對此有着詳細的介紹。
第一、打造無損以太網。在傳統以太網中,丟包與重傳被視為「可接受成本」。但在AI訓練中,任何丟包都可能導致 GPU空閒、同步失敗或能耗激增。
Spectrum-X 通過:RoCE(RDMA over Converged Ethernet)技術實現CPU旁路通信;PFC(Priority Flow Control) + DDP(Direct Data Placement) 確保端到端無損傳輸;再與Spectrum-X SuperNIC聯動,實現硬件級擁塞檢測與動態流量調度。
GPU-to-GPU通信的RDMA實現圖(來源:英偉達)
這使得以太網第一次具備了接近 InfiniBand的傳輸確定性。
第二、自適應路由與分包調度。AI 工作負載與傳統雲計算最大的不同在於,它產生的是少量但極龐大的「象流(Elephant Flows)」。這些流量極易在網絡中形成熱點,造成嚴重擁塞。
Spectrum-X採用包級自適應路由(Packet-level Adaptive Routing)與分包噴射(Packet Spraying)技術,通過實時監測鏈路負載,動態選擇最優路徑,並在 SuperNIC 層完成亂序重排。這種機制打破了以太網靜態哈希路由(ECMP)的侷限,使 AI 集羣在流量不均時仍能保持線性擴展能力。
VIDIA Spectrum-X 以太網自適應路由實現圖示(來源:英偉達)
第三、解決擁塞控制問題。傳統ECN擁塞控制的最大問題是響應延迟太高。當交換機檢測到擁塞併發出 ECN 標記時,緩衝區往往已被填滿,GPU已出現空轉。
Spectrum-X通過硬件級 In-band Telemetry(帶內遙測) 實時上報網絡狀態,SuperNIC 據此立即執行 Flow Metering(流量節流),實現亞微秒級反饋閉環。英偉達聲稱,其技術已展現出創紀錄的效率,其擁塞控制技術實現了 95% 的數據吞吐量,而現成的大規模以太網吞吐量約為 60%。
第四、性能隔離與安全。AI雲往往需要在同一基礎設施上運行來自不同用户或部門的訓練任務。Spectrum-X通過共享緩存架構(Universal Shared Buffer) 確保不同端口公平訪問緩存,防止「吵鬧鄰居」任務影響他人。同時配合 BlueField-3 DPU,在網絡與存儲層提供:MACsec/IPsec 加密(數據在途安全);AES-XTS 256/512 加密(數據靜態安全);Root-of-Trust 與 Secure Boot(硬件安全啟動)。這使得AI雲具備了類似私有集羣的安全隔離能力。
可以説,Spectrum-X讓以太網有了「AI 基因」。因此,這也贏得了Meta和Oracle的青睞,不過兩家在採用 Spectrum-X上選擇了不同的落地策略,各自圍繞自身業務訴求做出優化。
Meta的路線更側重「開放可編排的網絡平臺」——將 Spectrum 系列與 FBOSS 結合、並在 Minipack3N 這類開源交換機設計上實現落地,體現了Meta在軟硬分離、可編程控制面方面的持續投入。對 Meta而言,目標是以開放規範支持其面向數十億用户的生成式 AI 服務,既要高效也要可控。
Oracle則將 Vera Rubin 作為加速器架構、以 Spectrum-X 做為互聯骨干,目標是把分散的數據中心、成千上萬的節點聚合為統一的可編排超算平臺,從而為企業級客户提供端到端的訓練與推理服務。Oracle 管理層將此類部署稱為「Giga-Scale AI 工廠」,並將其作為雲競爭中的差異化基石。
無論路線如何不同,二者的共同點十分明顯:當算力持續呈指數級增長時,網絡層決定了這些「理論上的算力」能否轉化為「實際可用的吞吐與業務價值」。
從產業鏈競爭格局的角度來分析,NVIDIA Spectrum-X 的推出,確實是一場對以太網網絡行業結構的「降維打擊」。
首先要理解,Spectrum-X 不是一款單獨的交換機產品,而是一種系統戰略。它將以下三個組件綁定為一個「軟硬一體」生態:
Spectrum-X 交換機 ASIC(實現無損以太網與自適應路由);
Spectrum-X SuperNIC(負責包級重排、擁塞控制與遙測反饋);
BlueField-3 DPU(提供安全隔離與 RoCE 優化)。
也就是説,NVIDIA 把原本屬於獨立廠商的三層網絡生態(交換機、網卡、加速器)一口吞下,讓「網絡成為 GPU 的延伸模塊」,實現了 Compute–Network–Storage 的垂直閉環。因此,這一戰略幾乎撼動了整個以太網生態。
這意味着過去依靠以太網標準生存的網絡公司——無論是賣芯片的、賣交換機的、賣優化軟件的——都被迫進入一場新的博弈:要麼融入NVIDIA的AI網絡體系,要麼被邊緣化。
直接被波及的企業當中,首當其衝的是數據中心以太網芯片廠商,例如Broadcom(Trident/Tomahawk 系列)、Marvell(Teralynx、Prestera)。Spectrum-X 的 RDMA over Ethernet 能力本質上在挑戰所有高端以太網芯片的價值。這些廠商長期壟斷「交換芯片+NIC」雙生態,以往他們的賣點是「開放 + 性價比」。但當 NVIDIA 把 AI 優化特性(如 DDP、Telemetry、Lossless Routing)內嵌到 GPU/DPU 協同體系中后,這意味着 Spectrum-X 實際上撕開了以太網的「算力黑箱」,勢必會一定程度上波及到這些廠商。
再一個可能受到影響是傳統網絡設備供應商,例如Cisco(思科)、Arista Networks(艾睿思塔)、Juniper Networks(瞻博),這些公司在超大規模雲數據中心中一直是「以太網標準派」的代表。他們的高端產品主要賣點是:支持 400/800 GbE;提供豐富的可編程特性;軟件定義網絡(SDN)管理能力。
但在 Spectrum-X 架構下,英偉達通過「GPU + SuperNIC + Switch + DPU」形成封閉但極致的性能鏈條,客户無需再依賴 Cisco/Arista 的傳統優化方案,尤其在 AI 工廠這種「單租户+極端性能」的環境中,英偉達可以逐漸取代他們的角色。Arista的市值已經有一半來自 AI 網絡預期,但 Spectrum-X 若被 Meta、Oracle、AWS 等大客户全面採用,Arista 的增長模型可能會被削弱。
第三個羣體是,專注互連的初創芯片企業。如Astera Labs、Cornelis Networks、Liqid、和 Rockport Networks、Lightmatter、Celestial AI等——正在開發具備低延迟、高拓撲可擴展性的定製互連方案。
首先讓我們簡單分析下這些廠商存在的意義,在英偉達的世界里,互連是垂直整合的:GPU → NVLink → Spectrum-X/InfiniBand → BlueField。但對於其他廠商(AMD、Intel、Google TPU),他們沒有控制整個堆棧的能力,因此急需這些 「中立型互連供應商」 提供可替代方案。例如:Astera Labs 的 Leo/Cosmos系列控制器,已經被用在AMD MI300與Intel Gaudi 平臺上,用來管理GPU與內存池的互連。Cornelis Networks 則與歐洲超算中心合作,推出 Omni-Path 200G 網絡,用以替代 InfiniBand;Liqid 的 Composable Fabric 方案被戴爾和 HPE 集成,用於「AI 基礎設施即服務(AI IaaS)」。Lightmatter 與 Celestial AI 則瞄準更遠的未來——當光互連取代電互連時,整個 AI 計算集羣的架構都將被重寫。
一旦大型雲廠選擇 Spectrum-X 架構,就意味着其整個集羣在驅動、遙測、QoS 控制層面都依賴 NVIDIA。初創廠商的開放 Fabric 難以兼容。在短期內,Spectrum-X 的整合速度與客户綁定深度,確實讓這些獨立創新者的市場空間被明顯壓縮。
如果説Spectrum-X是以太網的AI化,那麼英偉達Quantum InfiniBand則是AI原生的超級網絡。
從一開始,以太網追求的是開放性與普適性——它容忍一定丟包與延迟,以換取成本與兼容性。而InfiniBand的設計哲學恰恰相反:它追求極致的確定性與零損傳輸(Lossless Determinism)。早在 1999 年,它便作為 HPC(高性能計算)領域的數據互連標準登場,如今已成為全球超級計算中心的事實標準。
憑藉三大特性,InfiniBand在過去二十余年間始終穩居性能巔峰:
無損傳輸(Lossless Networking):確保訓練過程中無一字節數據丟失;
超低延迟(Ultra-Low Latency):通信時延以微秒計,遠低於傳統以太網;
原生 RDMA 與網絡內計算(In-Network Computing):在網絡層執行計算聚合,釋放主機負載。
這些能力讓 InfiniBand 成為 AI 訓練時代的「通信主干」,尤其是在大模型動輒上萬 GPU 節點的架構下,它依然能維持線性擴展與穩定的同步性能。
英偉達在2019年以近70億美元收購Mellanox后,掌握了InfiniBand的全棧生態。最新的Quantum-2是英偉達InfiniBand架構的第七代產品,被業界視為當前最具代表性的高性能網絡平臺。它為每個端口提供高達 400 Gb/s 的帶寬,是前代產品的兩倍;其交換芯片的端口密度更是提升了 三倍,可在三跳 Dragonfly+ 拓撲 內連接超過 一百萬個節點。
更重要的是,Quantum-2 引入了第三代 NVIDIA SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) 技術——這是一種將計算能力「嵌入網絡」的聚合機制,使網絡本身成為「協處理器」。在這一架構下,AI 模型訓練的加速能力較上一代提升 32 倍,並支持多個租户與並行應用共享同一基礎設施而不犧牲性能,真正實現了「網絡級虛擬化」的算力資源池化。
然而,InfiniBand的輝煌背后,也潛藏着結構性的挑戰。一方面,它由 NVIDIA 主導並保持着較強的生態封閉性——這種「垂直一體化」的架構雖然帶來性能優勢,但也引發了雲服務商與 OEM 廠商的擔憂:成本高、生態受限、兼容性有限、議價空間有限。
正因如此,以太網陣營正在加速反擊。包括 Meta、Oracle、Broadcom、AMD 在內的多家企業,正通過 Ultra Ethernet Consortium(超以太網聯盟) 推動新一代開放標準,希望在開放以太網架構下重建 InfiniBand 級的確定性與性能。這也是為何英偉達為何選擇推出Spectrum-X的一個原因,主動把自家優勢算法、遙測和擁塞控制機制「嫁接」到以太網標準體系中,以便在以太網生態中保持網絡層的話語權。
超以太網聯盟的指導成員
從 InfiniBand 到 Spectrum-X,英偉達正在完成一場看似開放、實則更深層次的「壟斷重構」。它在封閉與開放之間搭建雙軌系統——一條面向 HPC 與超算(InfiniBand),一條面向雲與企業 AI(Spectrum-X)。最后,就用英偉達白皮書中的一句話結束吧:「The network defines the data center.」——AI時代的算力,不再在芯片之間,而在連接之中。