AI落地加速中，底層架構卻成最大絆腳石？丨ToB產業觀察

　　炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！

（來源：鈦媒體APP）

2025年上半年，中國AI基礎設施服務市場規模達198.7億元，同比激增122.4%。IDC預測，這一數字將在2029年逼近1500億元。與市場狂熱形成鮮明對比的是，Gartner報告曾指出：「超50%的AI項目因架構問題無法上線」。

當生成式AI（GenAI）從技術驗證走向規模化應用，企業正陷入「算力渴求與效率瓶頸並存、創新需求與架構桎梏交織」的矛盾。

被架構困住的智能轉型

賽迪顧問在《企業級AI應用落地白皮書2025》中指出，儘管83%的企業將AI列為戰略優先級，但實際落地成功率僅29%。

與此同時，Gartner在《2025年企業AI架構成熟度報告》中指出，AI落地失敗的根源並非單一技術缺陷，而是「算力供給、數據治理、系統協同、安全合規」構成的系統性架構失衡。這種失衡在不同行業呈現出共性挑戰，卻又因場景差異衍生出個性化難題。

對此，青雲科技CEO林源表示，從ChatGPT問世之后，2023年開始，至今企業的數智化轉型已經經歷了三個階段。

當企業處於AI應用第三階段時，首要面對的就是一些「歷史遺留」的IT架構問題。原先，企業IT架構的多代際疊加導致算力資源碎片化。IDC《2025企業算力管理報告》顯示，製造企業平均存在4.2個獨立算力池（傳統服務器、虛擬化集羣、GPU節點等），跨池調度效率僅為28%。67%的製造企業坦言：「算力與存儲升級跟不上模型迭代速度」。「多重架構帶來的是企業級AI落地過程中，更為多重的挑戰。」林源強調。

此外，為追求上線速度，53%的企業採用緊耦合AI架構，將模型訓練、推理與業務系統直接綁定。這種「一次性搭建」模式的代價在迭代階段集中顯現。

另一方面，企業內部的IT團隊與業務部門也面臨着問題和衝突，企業的業務越來越複雜、越來越多元化，新技術又讓企業業務的更迭頻率變快。在面對這麼複雜多變的企業應用的場景之下，企業的IT部門能力難以支撐，往往疲於奔命。「不僅如此，在現在的大環境之下，企業一方面要做技術創新，另一方面還要面對業務穩定性的剛性要求，這樣讓企業內部的數字化團隊更加舉步維艱，做多反而錯多。」林源一語道破了企業當前應用AI的痛點。

此外，邊緣與中心算力協同不足加劇失衡。隨着AI推理向邊緣設備擴散，企業需同時管理智算中心集羣與邊緣節點，但據賽迪顧問數據顯示，僅19%的企業實現算力協同調度。

總體來看，企業當前面對着「既要，又要，還要」的三重核心挑戰，林源表示，首先，企業既要保留歷史IT投資，又要擁抱AI創新，實現新老兼容；其次，面對愈發多元化的業務需求與越簡單越好的IT架構訴求之間的矛盾，企業如何平衡好兩者之間的關係；第三，企業需要在創新過程的技術迭代性的同時，滿足業務的穩定性。

AIInfra破解落地困局的核心引擎

面對如此多的挑戰和問題，企業需要一座銜接歷史與未來的「橋樑」，在林源看來，這座橋樑需要具備三個特性：首先，新的IT與應用必須要兼容用户原有的IT資產，必須要尊重客户現有的存量業務。

其次，新的IT架構必須具備按需部署，可「進化」的特性，「所有的客户都非常擔心一步到位的技術革命，因為企業會面臨極大的風險與極高的成本壓力。同時不同客户的階段不同、能力不同、需求不同，所以我們需要能夠滿足不同客户的按需、分階段升級的需求。」林源強調。

第三，要確保在每次IT架構迭代的過程中，用户業務的連續性、數據安全和升級的平滑性。

而AI Infra的出現讓這些問題有了統一的解題思路。賽迪顧問將2025年定義為「中國AI Infra平臺應用元年」，其核心價值在於通過「算力統籌、存儲革新、架構整合、生態開放」四大能力，實現AI落地的「降本、提效、安全、可控」。

通過「全域調度、彈性伸縮、能效優化」三大技術路徑，AI Infra能讓「碎片化」的算力，統籌到一起，形成「一體化」的算力平臺，從而提升算力的利用效率，破解算力供給難題，推動算力資源價值最大化。

AI Infra通過整合GPU/TPU/DCU等多元芯片，構建統一調度的異構算力池，實現「按需分配、動態擴容」。除此之外，通過AI Infra，企業還能實現國產化算力應用的突破。比如，華為昇騰910B芯片已實現千億參數大模型訓練，寒武紀CMX-9芯片以15瓦功耗實現64TOPS算力，適配邊緣場景需求。燧原科技在慶陽部署的國產異構智算中心，成為「東數西算」示範項目，單集羣算力達100PFLOPS，成本較進口方案降低35%。

而在算力調度方面，基於雲原生技術的統一調度平臺成為核心。通過算力標籤與性能預測模型，實現資源與業務的精準匹配。

以青雲科技為例，據林源介紹，青雲的KubeSphere調度層實現了「通算+超算+智算」的全域整合，「在統一的調度層之上，就是青雲不同能力的呈現，包括企業需要的完整虛擬化能力、全棧雲能力、雲原生的能力，以及AI智算的能力，都可以在這個統一平臺去呈現。這一層是全功能的，確保了客户的業務能夠隨着IT架構的變革實現逐步的進化，保障客户業務的連續性。」林源介紹道。

在製造業案例中，某製造業企業面臨虛擬化管硬件、雲原生管應用、智算平臺管算力統一納管的困境。原先該企業需要使用三套系統、三套流程，造成了跨平臺協調的高內耗。而據林源介紹，基於青雲AI Infra 3.0架構，該企業實現了架構協同，「無論是數據存儲分析、雲原生應用部署，亦或是推理算力供給，都在一個平臺上進行搭建和交付。這實現了全鏈路自動化，將 IT 部門響應業務部門的速度從 1 小時大幅縮短到 15 分鍾。這不僅是效率提升，更是業務競爭力的重塑。」林源如是説。

在生物製藥案例中，用户利用AI Infra 3.0架構中成熟的模型服務能力來對接專業大模型，通過模型和推理引擎分離架構來選擇最適配的推理引擎，及時解決對接集成工作，讓客户能快速上線醫療AI分析能力，將新型藥物的分子設計周期從18個月壓縮至12個月，將高性能複合材料的微觀結構模擬時間從72小時縮短到43小時。

而這僅是AI Infra價值的「冰山一角」。IDC《2025 AI Infra價值評估報告》指出，部署新一代AI Infra的企業，AI項目上線率從29%提升至78%，投資回報率提高120%。

AI Infra迎來商業化爆發

AI Infra的戰略價值引發全球廠商激烈角逐。Dell'OroGroup預測，2025年全球AI Infra市場規模將突破800億美元，年複合增長率達58%。當前市場呈現「國內廠商聚焦本土痛點、國外廠商強化技術壁壘」的格局，細分領域的競爭已進入白熱化。

廠商紛紛佈局的背后是AI Infra技術競賽，國內廠商主要圍繞「信創適配、架構整合、成本控制」三大本土需求，形成「全棧型、垂直技術型、生態整合型」三類玩家，成為目前市場上的主導。

全棧型方面，青雲科技以「橋樑式架構」破解歷史兼容難題，其AI Infra 3.0通過PrimusOS內核層與KubeSphere調度層，實現多代際架構整合；華為以昇騰芯片為核心的全棧佈局，覆蓋「芯片-框架-平臺-應用」。昇騰910B芯片支持千億參數模型訓練，Atlas350標卡適配超節點部署，某科研機構的大模型訓練效率提升25%。阿里雲以規模算力與生態整合見長，靈駿AI集羣支持千卡規模訓練，GPU彈性算力響應時間縮短至5分鍾。分佈式存儲系統支持千億級小文件調度，推理時延控制在6ms以內，服務比亞迪等車企，自動駕駛模型訓練周期縮短50%。

垂直技術型方面，浪潮信息的AI服務器全球市佔率47%，液冷技術使PUE降至1.15。某智算中心採用其方案后節能40%，年均電費減少280萬元。2025Q1其AI服務器出貨量同比增長62%，穩居全球第一；國產GPU企業燧原科技在慶陽異構智算中心中應用的算力規模達100PFLOPS，成本較進口方案降低35%。其雲燧T20GPU已適配100+AI模型，在政務、金融領域的滲透率達18%。

生態整合型方面，騰訊雲以「雲原生+Agent」推動生態協同，國內首個跨型號GPU調度的Serverless平臺，模型啟動速度提升17倍。Agent Infra解決方案支持數十萬實例併發，服務貨拉拉等企業，車路協同響應時延降至15ms；百度智能雲則是聚焦模型與Infra協同，文心一言大模型與千帆AI平臺深度整合。

放眼國際，與國內服務商相比，國際服務商主要周期全球化與生態上，稍有領先。微軟Azure通過「雲+AI」深度融合，打造了全球首個NVIDIA GB300 NVL72集羣（4600+BlackwellUltraGPU），支持OpenAI超大規模推理，內存帶寬1.44exaflops。自研Maia 100 AI芯片（5nm工藝）功耗較競品降低30%，部署於GPT-3.5Turbo推理，但在中國區市場佔有率僅5%；AWS則是憑藉模塊化與成本方面的優勢，佔有一席之地。其Trainium2芯片性能是第一代4倍，Trn2 UltraServer支持64芯片集羣，訓練成本較GPU降低30-40%。IoT Greengrass支持邊緣推理，與SageMaker集成。

基於此，賽迪顧問預測，未來3年全球AI Infra市場將呈現「雙軌並行」格局——中國市場國產化率將從2025年的45%提升至2027年的65%，政務、金融等領域實現100%國產化；全球高端市場仍由NVIDIA、微軟等主導，市佔率保持70%以上。

放眼全球，AI Infra的競爭已從單一產品比拼升級為「技術-生態-場景」的綜合較量。國內廠商需在保持成本與場景優勢的同時，突破高端芯片、基礎軟件等核心技術瓶頸。未來的贏家，必將是既能掌控核心技術，又能深刻理解行業需求的企業。