閃迪(SNDK)盤前跌逾3% 谷歌推出壓縮算法TurboQuant 稱實現約6倍內存節省

金吾財訊 | 閃迪(SNDK)盤前跌逾3%，截至發稿，報655.44美元。

消息面上，谷歌近日推出了一種可能降低人工智能系統內存需求的壓縮算法TurboQuant。根據谷歌介紹，TurboQuant壓縮技術旨在降低大語言模型和向量搜索引擎的內存佔用。該算法主要針對AI系統中用於存儲高頻訪問信息的鍵值緩存（key-value cache）瓶頸問題。隨着上下文窗口變大，這些緩存正成為主要的內存瓶頸。TurboQuant可在無需重新訓練或微調模型的情況下，將鍵值緩存壓縮至3bit精度，同時基本保持模型準確率不受影響。對包括Gemma、Mistral等開源模型的測試顯示，該技術可實現約6倍的鍵值緩存內存壓縮效果。