邊緣AI大突破！Google開源毫瓦級芯片，手錶也能跑大模型

Google正式發佈Coral NPU，一個面向邊緣設備的開源AI硬件平臺。這款基於RISC-V架構的神經處理器，在512 GOPS算力下功耗僅幾毫瓦（一瓦=1000毫瓦），專為可穿戴設備和物聯網場景設計。

近日，Google Research宣佈推出Coral NPU完整技術棧。這不是簡單的硬件迭代，而是針對邊緣AI長期存在的三大痛點給出的一套系統性解決方案。

1、

直指邊緣AI的三個老問題

雲端大模型的能力已經有目共睹，但要把AI搬到手錶、耳機這類設備上，問題馬上就來了。

第一是性能和功耗的矛盾。這是個根本性的架構選擇問題。通用CPU提供了靈活性和廣泛的軟件支持，但缺乏針對機器學習的專用架構，跑AI模型時性能低、功耗高。專用加速器恰恰相反，機器學習效率高，但靈活性差、編程困難，處理不了通用任務。開發者要麼選靈活但低效的CPU，要麼選高效但難用的加速器，始終在做取捨。

第二是碎片化嚴重。硬件問題被軟件生態的碎片化進一步放大。CPU和機器學習模塊的編程模型完全不同，開發者常常被迫使用各家的專有編譯器和複雜的命令緩衝區。這造成了陡峭的學習曲線，也很難把不同計算單元的優勢整合到一起。結果就是，業界一直缺乏一個成熟的、低功耗的、能輕松支持多種機器學習框架的通用架構。

第三是隱私問題。個人AI要真正實用，必須在本地跑，不能什麼數據都往雲上傳。但傳統架構在安全隔離上做得不夠。

Coral NPU直接顛覆了傳統芯片設計。它不再把CPU放在中心位置，而是讓機器學習矩陣引擎成為核心，標量計算反而成了配角。整個架構從硅片層面開始，就是為AI推理優化的，目標是打造一個專為設備端推理而生的高效平臺。

更關鍵的是，Coral NPU不是一款具體的芯片產品，而是一個完整的參考級神經處理單元架構。它為下一代高能效、ML優化的片上系統提供了標準化的構建模塊。芯片廠商可以基於這套架構設計自己的產品，也可以直接使用預配置的NPU方案。這種"開放架構+參考設計"的模式，是Google試圖在邊緣AI領域建立行業標準的關鍵一步。

2、

一個完整的技術棧

硬件方面，Coral NPU基於RISC-V指令集，包含三個核心模塊：一個輕量級標量核心負責調度，一個向量執行單元處理並行計算，一個矩陣執行單元專門跑神經網絡運算。整套設計的功耗控制在幾毫瓦級別，可以讓設備全天開啟AI功能。值得注意的是，矩陣執行單元目前仍在開發完善中，Google計劃在今年晚些時候將其發佈到GitHub。

Coral NPU 生態系統的統一視圖，展示面向 SoC 設計人員和 ML 開發人員的端到端堆棧。

軟件工具鏈是另一個重點。Google提供了基於IREE和MLIR的通用編譯器，開發者可以直接用TensorFlow、JAX、PyTorch這些主流框架。模型訓練完，通過StableHLO導入，編譯器自動完成優化和降級，最后生成能在設備上高效運行的二進制文件。

Coral NPU 編譯器工具鏈，展示了從 ML 模型創建到優化和編譯再到設備上部署的完整流程。

這套流程聽起來簡單，背后解決的是跨框架、跨硬件的適配問題。一次編寫，多平臺部署，這對邊緣AI開發者來説很實際。

在安全層面，Coral NPU的設計考慮了硬件級隔離。架構支持CHERI等新興安全技術，可以在硬件層面實現細粒度的內存保護和軟件隔離。敏感的AI模型和個人數據能被隔離在硬件強制的沙箱中，防禦內存攻擊。這種從硬件底層做安全的思路，對處理個人隱私數據的可穿戴設備來説，是個必要的設計。

Google團隊還在和自家的Gemma團隊合作，專門優化小型Transformer在Coral NPU上的表現。這意味着，未來在手錶上跑一個小型語言模型，在技術路徑上已經打通了。

可視化從傳統設計到 Coral NPU 的架構轉變。

3、

第一個落地案例

技術平臺要落地，還得看生態。Synaptics成了Coral NPU的首個硅合作伙伴。這家做嵌入式芯片的公司，在自己的新品Astra SL2610處理器里，集成了基於Coral NPU架構的Torq NPU子系統。

Synaptics技術日上的發佈不是偶然。他們在物聯網、可穿戴領域有現成的客户和供應鏈。這次合作，讓Coral NPU從技術方案變成了可以量產的產品。

應用場景已經很明確：Coral NPU主打始終在線的環境感知能力，包括用户活動檢測（走路、跑步）、場景識別（室內外、移動狀態）、實時語音翻譯、手勢識別、本地圖像處理等。這些都是可穿戴設備和智能家居的剛需，但以前要麼做不了，要麼做了掉電太快。Coral NPU的低功耗設計，讓設備可以7×24小時感知環境、理解上下文，同時不用擔心電量問題。

4、

開源策略背后的考量

Google把Coral NPU的架構、工具鏈都開源了。這個動作值得琢磨。

邊緣AI市場現在是羣雄割據，各家方案互不兼容。Google選擇開放標準，本質上是想建立一個通用平臺。芯片廠商可以基於這套架構做定製，開發者有統一的工具可用，整個產業鏈的協作成本會降下來。

RISC-V本身就是開放指令集，加上MLIR這些開源編譯框架，技術棧的每一層都是可以看得見、改得動的。這對學術界、初創公司都有吸引力。

當然，開源不等於免費的午餐。Google在大模型、AI框架上的積累還在，Coral NPU更像是把自己在邊緣AI上的工程經驗固化成一套標準。誰用得好，誰就能更快地把新能力推向市場。

5、

邊緣智能還有多遠

從技術指標看，Coral NPU解決了"能不能跑"的問題。512 GOPS的算力，對小模型來説夠用。幾毫瓦的功耗，讓全天候AI成為可能。

但實際體驗還得看軟硬結合的程度。一個好用的邊緣AI產品，不只是芯片性能到位就行，還要模型優化、系統調度、應用場景設計都跟上。Synaptics的案例是個開始，后面還得看更多廠商怎麼用這套平臺。

另一個變量是生成式AI在邊緣的進展。Coral NPU提到了對Transformer的支持，但小型語言模型在端側到底能做到什麼程度，現在還沒有標杆產品。這條路要走通，不光是算力問題，還涉及模型壓縮、推理優化、長期記憶管理這些工程細節。

邊緣計算和雲計算不是替代關係，是分工協作。雲端負責重計算、大模型訓練，邊緣負責低延迟、隱私保護、實時響應。Coral NPU瞄準的就是這個交界地帶——既要足夠智能，又要足夠節能，還得保證數據不出設備。

這個方向是對的。至於能走多遠，還得看產品落地后的市場反饋。

文檔和開發工具已在 developers.google.com/coral 發佈。

參考材料：

https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/