熱門資訊> 正文
2026-10-16 13:42
智通財經APP獲悉,10月16日,範式智能(06682)聯合北京睿思智聯科技有限公司(「睿思智聯」)宣佈,一站式生產級AI部署平臺「模域」(ModelSphere)正式上線。該平臺面向企業用户免費開源,將算力管理、模型部署和運行優化整合在統一平臺,幫助企業降低部署與運維門檻,更高效地將算力轉化為安全、穩定、可用於實際業務的AI服務。
隨着大模型進入規模化商業階段,企業在算力統籌、模型部署與效能優化中,普遍面臨資源利用率低、芯片生態割裂、部署門檻高、生產環境調優難等問題。模域致力於將這些工作整合為統一的部署與管理流程,減少企業在底層系統適配、資源調度和日常運維上的重複投入,讓企業無需深度掌握驅動編譯與硬件適配等複雜工作,即可將各類開源大模型嵌入核心業務流程,讓技術團隊更專注應用開發和業務需求。
模域具備四大核心優勢:
1.簡化部署,保障模型服務穩定運行:模域提供圖形化操作面板和預置部署能力,減少環境配置代碼的偏寫,幫助開發者快速大模型搭建推理服務,並簡化不同芯片集群的。平臺內置自動彈性擴縮容、PD分離部署、三級KV緩存、高可用負載均衡及服務斷流自動續寫等企業級能力,支持模型服務在生產環境中穩定運行。
2.持續自動化調優,提高模型運行效率:平臺內置AutoTune智能模型排期策略,以及結合硬件加速能力的自適應負載均衡調度,優化模型處理請求的能力和首次響應速度,系統極限吞吐效率較基準大幅提升約285%,性能躍升至原來4倍,真正實現了算力的「滿血」釋放。
3.統一管理多種芯片,減少重複適配:平臺融合EngineX推理引擎,支持並針對多種算力芯片進行深度調優,可統一和混合調度華為昇騰、天數智芯、摩爾線程、海光DCU等國產算力資源,用户無需為不同芯片重寫底層邏輯代碼。
4.持續優化適配主流模型,加快部署應用:模域團隊持續跟進開源社區迭代,已適配優化了DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等主流模型,支持在模型發佈后快速部署並且性能調優至生產環境,幫助企業將新模型落地實際業務。
模域在AI技術棧中的定位
在技術層面上,模域與vLLM、SGLang等推理引擎互相配合:推理引擎負責提升單台服務器的計算效率,模域則負責集群架構級納管和優化,包括負載和緩存感知的請求路由、統一的KV緩存池、基於服務質量的自動化擴縮容、服務斷流自動續寫、基於線上數據的自動化性能調優、運行監控及服務管理等,保證生產環境下系統的高性能和高可用。
模域全面開源,將大模型部署與優化的工程能力向更多企業和開發者開放,同時匯聚產業力量,持續完善對不同芯片和模型的支持,減少硬件適配障礙,降低大模型應用門檻,幫助企業用好已有算力,高效釋放異構算力的商業潛能。
模域採用寬松的Apache 2.0 協議,已在GitHub上線:https://github.com/modelsphere/modelsphere