統一管理、高效部署、持續運營：星環科技 Sophon LLMOps 助力疾控 A...

在公共衞生領域，AI 正逐步應用於報告生成、智能識別、知識問答等業務場景。隨着使用部門和業務系統不斷增加，如何讓分散的模型能力實現統一供給、高效接入和持續運營，成為 AI 規模化應用需要解決的問題。

某疾病預防控制機構（以下簡稱「該機構」）面臨的正是這一挑戰。隨着 AI 應用從單點探索走向多部門使用，模型分散部署、資源重複配置、接入流程複雜等問題逐漸顯現。

為此，該機構引入星環科技 Sophon LLMOps 大模型運營管理平臺，將模型、計算資源、賬號空間和使用權限納入統一管理，推動模型服務從分散建設走向統一供給與持續運營。

模型分散在不同系統，

如何統一納管、按需供給

該機構涉及語言生成、語音識別、知識檢索、文檔處理等多類 AI 能力，原本分佈於不同系統，相關計算資源、賬號空間和使用權限也需要分別管理。隨着業務需求增加，相同模型可能被重複部署，資源分散配置，既增加管理工作量，也不利於模型能力複用。

通過 Sophon LLMOps，該機構將分散的模型能力和計算資源集中納管，並圍繞語料、知識、模型、應用四類核心資產建立統一管理體系。平臺將模型能力以標準化服務的方式提供給業務部門，不同應用可根據需求和權限調用已有服務，無需重複部署相同模型。

同時，平臺根據不同模型及業務部門的需求統一配置計算資源，減少重複建設和分散配置帶來的資源佔用。

部門提出需求后，

模型如何高效接入業務系統

從提出 AI 應用需求到正式使用，通常涉及資源評估、權限配置、模型部署、性能測試和服務交付等環節。在分散建設模式下，各部門需要分別協調資源、配置環境，即使使用相同模型，也可能重複開展部署和測試工作。

針對這一問題，Sophon LLMOps 將需求申請、資源評估、權限配置、部署測試和服務交付納入統一管理流程，併爲不同業務部門配置獨立使用空間，支持各部門在權限範圍內調用模型、開發應用。

對於平臺已有的模型服務，業務部門可按需直接調用；對於新增模型需求，則通過標準化流程完成資源配置、模型部署、性能測試和服務交付。這種方式既減少了已有模型的重複部署，也讓新增模型的上線流程更加規範，降低跨部門協調與重複配置成本，提高模型服務的部署和交付效率。

多系統持續調用后，

如何保障服務持續可用

模型接入業務系統並不意味着管理工作的結束。當多個應用持續調用模型服務時，運行狀態、版本變化和性能表現都會影響業務使用體驗，模型服務需要統一的運營維護機制。

通過 Sophon LLMOps平臺，可將已交付的模型服務納入統一運營管理體系，集中監控運行狀態，持續開展版本升級、性能測試和應用支持，並結合周期性檢測與使用反饋優化模型服務。

針對公共衞生業務對服務連續性和可追溯性的要求，平臺統一管理服務狀態、版本變更和調用權限，為模型升級、問題定位及運行維護提供支撐。

模型從需求接入、部署交付到后續監控和升級優化形成完整的管理流程，減少分散維護帶來的管理壓力，為多個業務系統持續使用 AI 能力提供保障。

從十余種模型到日均超 10 萬次調用，

AI 能力如何進入實際業務

目前，該平臺已統一納管十余種模型及相關 AI 能力，覆蓋語言生成、語音識別、知識檢索、文檔處理及專業領域需求。

多個業務部門已開設獨立使用空間，在統一平臺上調用模型服務、開展應用開發。平臺通過集中管理模型與計算資源，支持不同部門共享已有能力，減少重複部署和資源配置工作。

在業務應用方面，平臺已對接疾控智能體、語料庫、疫苗系統等多個應用，相關 AI 能力已用於流調報告自動生成、設備狀態識別、人員識別等場景，覆蓋公共衞生業務及運營管理需求。

隨着業務應用持續運行，平臺模型調用規模不斷擴大，累計調用已達數百萬次，近階段日均調用超過 10 萬次，展現了統一模型服務體系在實際業務中的使用規模。

從模型部署到持續運營

支撐 AI 應用規模化擴展

該機構的實踐表明，當 AI 從單點應用走向多部門、多系統使用時，模型部署只是起點，統一供給、高效交付、資源複用和持續運營同樣重要。

通過 Sophon LLMOps，星環科技幫助該機構建立起統一的模型服務管理與運營體系，其價值主要體現在三個方面：一是資產統一，集中管理語料、知識、模型和應用；二是流程標準化，規範模型接入、部署測試和服務交付；三是運營持續化，通過統一監控、版本升級和應用支持保障服務持續運行。

從十余種模型能力集中納管，到多個業務系統共享使用，再到日均超 10 萬次調用，該案例展示了 Sophon LLMOps 從模型部署走向平臺化運營的落地實踐，也為更多 AI 應用接入和規模化擴展提供了可複用的基礎。