AT&T藉助開源模型削減向Anthropic支付的費用

　　AT&T副總裁馬克・奧斯汀表示，這家電信企業計劃通過更多采用英偉達的Nemotron等開源大模型，在未來幾年將員工調用Anthropic與OpenAI模型產生的支出維持在現有水平。

　　奧斯汀負責管理公司10萬名員工所使用的人工智能，應用場景覆蓋代碼編寫、財務分析，以及人力資源和客服人員使用的各類工具。雖然AT&T也向消費者提供部分AI功能，例如手機應用內的聊天機器人，但該公司的AI應用絕大部分集中在內部業務。

　　他稱，過去一年，AT&T擴大了開源模型的使用規模，目前員工發起的AI請求當中，已有40%由開源模型處理。公司計劃未來幾年將這一比例提升至60%‑70%。

　　奧斯汀表示，他發現開源模型的效果「與Anthropic、OpenAI等廠商的舊版模型不相上下，甚至表現更優」。舉例而言，AT&T軟件開發者處理代碼生成這類複雜任務，仍然會選用頂尖閉源模型；但對於代碼摘要生成這類算力需求較低的工作，則可以使用成本更低的開源模型。「我們預計開源模型后續還會持續迭代優化。」

　　AT&T還藉助模型路由工具實現成本節約，這類工具會根據任務複雜程度，自動把員工的請求分配給成本更低的模型。奧斯汀介紹，公司接入路由服務商Lite LLM之后，代碼編寫等部分高階AI任務的成本最高下降56%，而AI輸出質量僅下滑2%。

　　奧斯汀稱，AT&T於2023年推出核心內部AI系統Ask AT&T，該系統最初完全依託於通過微軟雲採購的OpenAI模型。此后，公司為這套服務接入了更多模型。員工藉助該系統完成各類工作：軟件開發人員編寫、修改代碼；普通員工查詢公司人力資源制度；銷售人員實時記錄會議內容、整理客户通話紀要；客服人員在和用户溝通時調取參考資料。

　　奧斯汀表示，使用Ask AT&T的軟件開發人員可以自主選擇特定模型或者AI智能體，包括GitHub Copilot、Devin、Claude Code、Codex，但相關調用設有費用上限。

　　奧斯汀透露，Ask AT&T當前每日處理450億token（文本最小處理單元）。奧斯汀並未披露這套系統的實際運行成本；但依據OpenAI、Anthropic等廠商公開報價，如果全部採用閉源模型處理如此巨量的token，每年至少需要數億美元。

　　奧斯汀表示，除Nemotron以外，AT&T還在使用Meta的Llama、谷歌Gemma等開源/開放權重模型。部分模型推理任務部署在自有數據中心內，依託英偉達、AMD服務器芯片運行；相比向雲廠商租用算力來跑模型，這種模式往往成本更低。

　　奧斯汀稱，根據AT&T的實際使用體驗，開源模型的能力通常比前沿閉源模型落后6‑10個月，但兩者之間的差距正在不斷縮小。