端側AI需求起跳 科技巨頭烽火佈局

　　AI大爆發之后，如何落地到端側備受關注，蘋果或將率先走出一步。

　　近日，有知情人士透露，蘋果即將於6月10日發佈的iOS 18所載首批AI功能將完全在設備上運行，這意味着蘋果的首批AI大模型功能將不會用到雲端處理。

　　在更遠的未來，蘋果可能會提供一些基於雲端的AI功能，這些功能或由谷歌Gemini或其他供應商提供支持。

　　無獨有偶，斯坦福大學研究人員近日也推出了Octopus v2，這是一款在手機、個人電腦等端側都可跑的大模型，其擁有20億個參數的高級開源語言模型，專門為Android API量身定製，性能不僅達到與GPT-4相當的水平，還顯著提高了推理速度。

　　據悉，該模型一夜下載量超2000，這背后是端側AI日益增長的需求。

　　大模型時代，用户個人隱私與數據安全成為更容易被攻破的「互聯網脆弱地帶」，端側AI則可以彌合這種潛在風險。

　　端側AI的發展速度也不遜色，芯片與算法等技術突破，應用場景的構造和深化，都在同步推進。

　　一方面，高通、聯發科等廠商紛紛推出與移動設備AI適配的芯片，為端側提供底層軟硬件的技術支持；另一邊，AI手機和AI PC成為端側AI落地的兩大陣地，華為、蘋果等手機廠商已經競相部署，聯想、英特爾等也為AI PC的發展提速。

　　將端側AI與雲端AI結合的混合式AI也是大勢所趨，端側AI的「未來式」變為「進行時」，或可期待。

　　手機大模型橫空出世

　　4月初，斯坦福研究人員公開了Octopus v2論文。

　　Octopus v2這款模型主要面向終端及邊緣級設備，可以直接部署在用户的本地設備上。

　　論文中提到，Octopus v2代表了Nexa AI在函數調用的大型語言模型（LLM）應用方面的研究突破，主要體現在準確性和延迟這兩個關鍵性能上。Octopus v2在準確性和延迟方面超越了GPT-4，並使上下文長度減少了95%。

　　這得益於Octopus-v2-2B引入了一個獨特的函數token策略，它能夠通過構建「標記—函數」的映射關係來增強模型的準確性，同時縮減了基於檢索增強（RAG）模式中模型從函數描述中分析標記，再進行檢索和處理的時間，大大減少了準確識別函數名所需標記的數量，簡化流程從而提高推理速度，降低延迟。

　　這種方法在訓練和推理階段要優於RAG的方式，顯著提高了模型的推理速度，比Llama7B+RAG方案提高了35倍，推理所花時間只有GPT-4的三分之一左右。這種低延迟的特性對於貼合邊緣計算設備尤為有利。

　　Octopus-V2在低延迟的基礎上同時保證了準確率，在函數調用準確率上超過99%，實現了與GPT-4和RAG+GPT-3.5相當的函數調用準確率，甚至更高。

　　Octopus v2與Android相適配，其生成實現高質量訓練的數據集涉及兩個關鍵階段。第一，創建特定的API的可解查詢數據集，併爲它們生成適當的函數調用。第二，創建不可求解的查詢，並由不相關的函數體補充。之后，使用合併兩者、用於嚴格驗證的二進制驗證機制，這樣可確保收集優化的訓練數據集，有望顯著改善模型功能。

　　Octopus v2的高準確率和低延迟滿足了目前端側AI應用的需求，無需大量的計算資源、無需長時間的響應等待。論文中也指出，Octopus v2在智能手機助手、智能家居、教育和醫療等方面具有廣泛的應用潛力。

　　科技巨頭烽火佈局

　　端側AI的技術進展為大模型的實際落地打好了基礎。

　　各芯片廠商繼續在卷技術的路上狂奔。以高通和聯發科為代表的廠商將集成多種功能組件的SOC芯片作為競爭重點。

　　具有強大AI算力的SOC芯片載入手機，為端側AI提供底層性能和技術支持。

　　據華金證券整理，手機SOC芯片中的AI分數前十被「天璣」和「驍龍」霸榜，芯片全部來自高通和聯發科兩家廠商。

　　2023年10月，高通正式發佈首款專為移動設備生成式AI設計的芯片——驍龍8 Gen 3。該芯片沿用融合式的AI加速架構，將Hexagon DSP升級為Hexagon NPU，可運行百億參數大模型。Hexgon NPU升級了全新的微架構，整體性能提升了98%。

　　同樣是去年，聯發科移動SOC芯片天璣9300發佈，這是全球首款全大核架構智能手機芯片。

　　據悉，今年3月28日，聯發科已在天璣9300等旗艦芯片上部署通義千問大模型，首次實現大模型在手機芯片端深度適配。

　　在此之上，端側AI的應用場景也在迅速拓展。AI手機、AI PC領域的發展如火如荼，汽車、XR以及物聯網等終端品類也迫不及待地載入AI賦能。科技龍頭企業的佈局之戰已經打響。

　　其一是AI手機。浙商證券分析師認為，現在AI手機正處於產業爆發前夜，植入AI大模型讓真正的「私人定製助理」成為可能。在手機里導入AI，主要在提升文本圖像等內容創建、語音轉文字等工作的便利和效率提升上發揮作用。同時，手機AI能夠打破各APP之間的壁壘，比如榮耀MagicOS 8.0的「任意門」功能，使跨應用操作更加絲滑。另外，由於數據保存在端側，用户的隱私得到更有效的保護。

　　基於上述應用場景，各方開始發力。技術端，適配於手機端的AI大模型層出不窮；產品端，各手機廠商也趕上潮流，紛紛將AI融入了自家的新品。

　　iPhone 15系列中，Pro和Pro Max搭載了蘋果最新一代自研芯片A17 Pro，包含六核CPU和六核GPU，A17 Pro是整個手機行業中首款應用3納米制程的芯片，核心性能得到提升。在2023財年第三財季財報發佈會上，蘋果CEO庫克表示，未來幾個月內，蘋果公司用於生成式AI的研發支出將進一步增加。在今年MWC（世界移動通信大會）上，三星發佈了多款搭載Galaxy AI的產品。

　　國內廠商也不甘其后。

　　去年8月，華為發佈HarmonyOS 4，通過盤古大模型的底層能力加持，為用户帶來智慧終端交互、高階生產力效率、個性化服務的全新AI體驗變革；小米自研13億參數端側大模型MiLM已經對內部正式開源；榮耀Magic6系列搭載高通驍龍8 Gen 3移動平臺，支持榮耀自研70億參數的端側AI大模型；OPPO自主訓練的Andes GPT以端雲協同為基礎架構設計思路，推出從10億至千億多種不同參數規模的模型規格；去年11月VIVO發佈自研AI大模型藍心，目前已能實現超過700種手機相關功能。

　　其二是AI PC。IDC中國區副總裁王吉平告訴21世紀經濟報道記者，AI PC將成為AI終端核心場景。近年來，硬件端和軟件端共同趨於成熟，相關產品不斷推出、落地，AI PC的生態正逐步建立。

　　2023年，英特爾提出「AI PC加速計劃」，宣佈將為軟件合作伙伴提供工程軟件和資源，以在2025年前為超過1億台PC實現人工智能特性。

　　聯想早早提出了「AI for All」戰略，重點展示了聯想在端側大模型方面的能力，以及聯想的首款AI PC產品。在今年的MWC上，聯想全景式AI產品組合亮相，最新一代商務AI PC發佈，展示了AI終端未來方向。

　　IDC與聯想聯合發佈的《AI PC產業（中國）白皮書》預測，AI PC在中國PC市場中新機的裝配比例將在未來幾年中迅速攀升，將於2027年達到85%，成為PC市場主流；同時，整體AI終端市場也將迎來爆發，2024年中國終端設備市場中將有超過半數的設備在硬件層面具備AI算力基礎，至2027年，這一比例將增長至近80%的水平，並進入平穩提升階段。

　　端側AI突破優勢

　　雲端AI的使用必須要聯網，數據的存儲和處理都在雲端進行，而端側AI在終端設備上進行輕型AI模型運用。

　　基於此，浙商證券分析整理了端側AI的主要優勢，包括速度更快、響應更及時、私密數據等隱私安全更有保障。

　　相比於雲端AI龐大數據訓練所需要耗費的成本，端側AI的成本也更低。此外，與雲端相比，端側AI能夠以很低的能耗運行生成式AI模型。

　　具體來看，因為端側AI不用將數據傳到雲端，這在很大程度上避免了數據和隱私泄露等安全隱患。對於個人而言，端側AI的隱私保護性更強，對於企業等工作場景而言，這有助於公司機密的保護。

　　前述白皮書進一步指出了AI PC隱私安全保護措施，主要包括隔離隱私信息和公共請求，確保授權在前、上傳在后，以及本地閉環推理、安全芯片配置等。

　　一位AI PC研發人士認為，雖然雲端較端側AI的算力更高，但當雲端的需求過載時，會產生大量排隊等待和高延迟，甚至出現拒絕服務的情況。而端側AI的數據存儲和處理都在本地運行，響應更及時。

　　「端側AI在本地運行，會更穩定。」浙商證券分析師表示，根據測算，如果所有的推理案例都在雲服務器上進行，準確率是79.31%；如果49.88%的推理案例在移動端進行，其余在雲端進行，仍可達到79.31%的雲級準確率，可見端側AI具有高可靠性。

　　另外，端側AI可以通過終端獨立運行以及雲—端協同承擔計算負載，大大降低雲端算力需求及能耗成本。端側AI所具有的自然語言語音交互的天然優勢，可以便捷地獲取圖片、照片、視頻、位置等信息。

　　從雲端AI轉向端側AI或結合端側形成混合AI，未來AI發展的走向在現在已經初現端倪。榮耀CEO趙明曾在採訪中指出，端側大模型和雲端網絡大模型應該是協同的，不是互斥的。前者更有利於處理個人，尤其是涉及用户隱私的數據，后者的算力更高。

　　「未來端側大模型能夠幫我們更好地與網絡大模型溝通，或者是説把端側大模型做好了會提升網絡大模型的使用效率。」趙明表示。

　　讓生成式AI更便利、高效地服務於人類，便利性與安全性，是兩駕並行的馬車，以端側AI為底色的混合式AI，或許能解決好兩者的平衡。

　　（作者：孔海麗，實習生張奕丹 編輯：朱益民）

責任編輯：何松琳