加州理工學院研究人員聲稱可對高保真AI模型進行顛覆性壓縮

　　加州理工學院的電腦科學家兼數學家巴巴克·哈西比（Babak Hassibi）領導的一個研究團隊表示，他們已經創建了一款大語言模型，可以在不影響性能的情況下大幅壓縮模型大小。

　　這家名為PrismML的公司周二結束隱身模式，並將其1-bit技術模型開源，供他人使用。

　　哈西比表示，PrismML開發了一種極致的壓縮技術，既能讓AI在手機、筆記本電腦和其他設備上本地運行，也能助力數據中心的建設，使其能用更少的資源完成更多任務，並避免能源成本的急劇膨脹。

　　該公司的首席執行官哈西比説：「我們花費了數年時間來發展壓縮神經網絡而不損失其推理能力所需的數學理論。」他還説：「我們正在為AI創造一種新的範式：一種能夠適應不同硬件環境，並在每單位計算和能源下提供最大智能的範式。」

　　其他同樣來自加州理工學院的聯合創始人包括薩欣·拉萊（Sahin Lale）、奧米德·普拉贊迪（Omead Pooladzandi）和雷扎·薩德里（Reza Sadri），后者同時也是公司戰略副總裁。

　　哈西比説，該知識產權歸加州理工學院所有，PrismML是唯一的獨家被許可方。

　　該公司在SAFE和種子輪融資中籌集了1625萬美元，投資者包括Khosla Ventures、Cerberus Capital和加州理工學院。SAFE即未來股權簡單協議（Simple Agreement for Future Equity），指投資者向初創公司提供資金，以換取未來獲得股權的權利。

　　投資人維諾德·科斯拉（Vinod Khosla）認為，AI的未來不由誰能建起最大的數據中心來定義，而是由誰能在每單位能源和成本下提供最大的智能來決定。科斯拉説：「所以這並非一次小小的迭代，而是一項重大的技術突破。這是一項數學上的突破，而不僅僅是又一個小模型。」

　　科斯拉説，PrismML滿足了市場對快速、小巧但高性能模型的需求，這些模型可服務於從語音對話到金融某些領域的廣泛應用。

　　PrismML開發的模型旨在智能手機和筆記本電腦等消費設備以及工業邊緣設備上運行。該公司表示，其理念是讓機器人、可穿戴設備和個人計算等領域的應用成為可能，而這些應用在以前是不切實際的。

　　科斯拉説：「你可以在手機上裝下一個好得多的模型。這一點意義重大。當然，在手機或移動設備上，能耗是一個非常、非常重要的問題。」

　　PrismML表示，同樣的效率提升不僅能實現本地部署，還能讓數據中心更有效地運行。

　　哈西比稱，儘管更廣泛的科技行業在激烈辯論AI的未來在於Transformer、擴散模型還是更新的概念，但PrismML的數學框架可以應用於其中任何一種。

　　運作原理

　　描述AI模型的一種方式是使用「比特」（bit），它指的是用計算機語言「1」和「0」來表示一個數值所需的代碼量。大多數AI模型以16-bit的精度編寫，不過也有些方法採用4-bit或更低精度。據哈西比稱，PrismML取得了一項數學突破，實現了1-bit模型，且不影響全精度模型的推理、編碼和通用知識能力。哈西比表示，雖然相關數學原理是專有技術，但其效果很像在不損失視覺保真度的情況下壓縮數碼照片。

　　在運行AI模型時，被稱為「延迟」的延時和能耗都與內存中數據的移入移出有關。哈西比説，通過將數據單位（即模型權重）減少到用+1或-1表示的單個比特，PrismML的旗艦1-bit模型Bonsai 8B的處理速度可比16-bit模型提高多達八倍。哈西比還説，在現有硬件平臺上，該模型還能將能耗降低最多75%至80%。他表示，如果未來的硬件專為1-bit模型設計，將完全無需進行復雜的數學乘法運算。哈西比認為，屆時硬件將只需執行簡單的加減法，這將進一步降低能耗和延迟。

　　Cerberus Capital Management的高級董事總經理阿米爾·薩萊克（Amir Salek）表示，他確信PrismML取得了一項重大的數學突破，有望改善AI的經濟效益。

　　PrismML稱，採用1-bit架構后，一個2TB的模型會瞬間變成150GB。薩萊克説：「你的帶寬需求會大幅下降，內存大小會大幅下降，移動數據所消耗的能量……也會大幅減少。」他曾是谷歌技術基礎設施和Google Cloud業務的創始人兼芯片負責人。在此之前，他還是英偉達片上系統（System-on-a-Chip）設計部門的創始人和負責人。

　　開發者、研究人員和其他用户可以免費下載PrismML開源的1-bit模型Bonsai 8B。

　　Bonsai 8B是一款80億參數的大語言模型，使用谷歌v4 TPU進行訓練。

　　據PrismML稱，該模型實現了可與16-bit模型相媲美的高保真推理和語言理解能力，但內存佔用僅為1GB，而后者為16GB。高保真推理是指成功執行復雜推理的能力。

　　該公司表示，還將發佈1-bit的Bonsai 40億參數模型和17億參數模型，其內存佔用分別為0.5GB和0.24GB，且智能密度更高。