熱門資訊> 正文
2025-02-05 21:27
近日,百度智能雲成功點亮崑崙芯三代萬卡集羣,這也是國內首個正式點亮的自研萬卡集羣。據悉,百度智能雲將進一步點亮3萬卡集羣。
萬卡集羣是什麼?它是指由超過一萬張加速卡(如GPU、TPU或其他專用AI加速芯片)組成的高性能計算系統,用於加速人工智能模型的訓練和推理過程。蛇年新春伊始,這一重大突破不僅為百度自身技術發展提供了強大動力,也為整個中國科技界、互聯網行業和AI行業帶來了新的發展機遇,為大模型達成萬千需求的AI生態,提供了更厚實更智能的「肩膀」,為可以預見的百花齊放萬紫千紅的行業遠景和AI願景,提供了更多可能。
AI主戰場,萬卡集羣將是出圈利器
從算力上看,超大規模並行計算能力可實現訓練效率躍升,萬卡集羣可將千億參數模型的訓練周期大幅降低,滿足AI原生應用快速迭代的需求。同時也能支持更大模型與複雜任務和多模態數據,支撐Sora類應用的開發。此外,萬卡集羣能夠支持多任務併發能力,通過動態資源切分,單集羣可同時訓練多個輕量化模型,通過通信優化與容錯機制減少算力浪費,實現訓練成本指數級下降。
隨着國產大模型的興起,萬卡集羣逐漸從「單任務算力消耗」到「集羣效能最大化」過渡,通過模型優化、有效訓練率提升、動態資源分配等手段,智能調度任務,將訓練、微調、推理任務混合部署,從而提升集羣綜合利用率,降低單位算力成本。
國產AI,最擅長的就是把成本打下來
Deepseek之所以能夠震撼全球,最大的亮點之一就是「把價格打了下來」。用了非常小的成本實現了同等算力結果,「花小錢辦大事」不僅凸現了中國AI的破局之道,更彰顯了中國智慧。而此次百度智能雲成功點亮崑崙芯三代萬卡集羣的意義所在,不僅僅是帶來了強大的算力支持,還進一步推動了模型降本的趨勢成形。
業內專家表示,過去一年中,整個行業都在努力降低大模型的使用成本,而算力緊張是導致成本居高不下的重要因素之一。百度通過自研芯片和大規模集羣的建設,不僅解決了自身算力供應的問題,還為整個行業提供了新的思路和方向。百度崑崙芯三代萬卡集羣的成功點亮,是中國科技界在人工智能領域的又一次重大突破。國產萬卡集羣的出現可以解決過去價格高和無法穩定應用等問題,讓企業進行應用開發與產業創新的門檻更低。
百舸賦能,夯實萬卡集羣硬實力
過去,多芯混訓和激增的故障率等難題,成為萬卡集羣部署過程中的巨大挑戰。而2024年9月升級的百度百舸AI異構計算平臺4.0(以下簡稱「百舸平臺」),在萬卡集羣的建設中發揮了至關重要的作用。百舸賦能,全方位提升了集羣性能與穩定性。
首先,爲了解決大模型訓練時高通信帶寬的需求,百度建設了超大規模HPN高性能網絡,通過優化的擁塞控制算法、集合通信算法策略,提升了通信效率,將帶寬有效性提升到90%以上。
同時,萬卡集羣的能耗極高,常規的散熱方案能耗可達十兆瓦或更高,這將提升企業進行模型訓練的電力成本,為此,百舸採用了創新性散熱方案,可以有效降低能耗,進一步降低模型訓練成本。
然后,爲了提升GPU 的有效利用率(通常用MFU來表示GPU的有效利用率),百舸不斷優化並完善模型的分佈式訓練策略,通過高效並行化任務切分策略,將訓練主流開源模型的集羣MFU提升至58%;
爲了保證大規模集羣執行訓練任務的穩定性,百舸提供全面的故障診斷手段,可以快速自動偵測到導致訓練任務異常的節點故障。同時,百度自研的BCCL(百度集合通信庫),能夠快速定位故障同時提供自動化的容錯能力,重新調度任務到健康節點,繼續完成訓練,目前已經將故障恢復時間從小時級降低到分鍾級,保障集羣有效訓練率達到98%。
中國式大模型全球吸睛,2025AI拐點到來
站在中國式基建的強大算力「肩膀」上,中國大模型高效低成本優勢正在吸引全球看好:百度港股、美股應聲大漲,花旗銀行也發佈研報表示,DeepSeek、百度等中國模型展現出高效和低成本優勢,將有助於加速全球AI應用開發,並在全球引發更多技術創新,推動2025年人工智能應用的拐點。
中國工程院院士、清華大學計算機系教授鄭緯民也表示,當下構建國產自主萬卡系統充滿挑戰,但"至關重要"。
智慧算力是AI的馬達和驅動力,百度智能雲成功點亮崑崙芯三代萬卡集羣以及即將進一步點亮3萬卡集羣,將推動AI大模型應用可以與雲、大數據、數據庫等通用場景實現更為緊密高效的結合,充分釋放AI在各行業場景落地。
所有過往,皆為序章。中國AI,未來可期!