繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

端側大模型迎來「輕」革命!移遠通信 × RWKV 打造「輕量AI大腦」

2025-07-27 19:00

(來源:移遠通信

7月27日,移遠通信宣佈與RWKV公司建立全面合作關係,雙方將依託移遠的算力平臺,優化並支持RWKV最新模型架構,共同推動大模型在端側設備的低資源佔用部署。此次合作成果於2025世界人工智能大會(WAIC)首次亮相,標誌着端側大模型解決方案向更高性能、更廣場景的應用邁出關鍵一步。

RWKV(Receptance Weighted Key Value)是全球領先的RNN大模型架構,它成功結合了遞歸神經網絡(RNN)的恆定複雜度和高效串行推理,以及Transformer的並行處理優勢,使其在文本生成、時間序列、圖像和視頻、語音和音樂等領域表現出色,推理成本和訓練成本顯著低於Transformer。

這項技術的核心突破在於引入RWKV算子替代Transformer的位置編碼和多頭注意力機制。這一革新有效解決了Transformer在處理長序列時的空間和時間複雜度問題,在確保模型性能不受影響的前提下,實現了內存佔用恆定、token計算複雜度恆定,意味着運算過程更高效、更省力。這一特性讓 RWKV 在端側設備部署中展現出顯著優勢:處理長序列時速度更快、內存佔用更低,相當於為終端設備配備了一個 「輕量化的AI大腦」。

在本次世界人工智能大會(WAIC)上,基於高通 QCS8550 平臺的兩大 RWKV 聯合解決方案將重磅登場:

  • RWKV Chat:思考永續

RWKV Chat是一款離線AI聊天應用,無需聯網即可實現推理、深度對話與文本續寫,支持個性化會話配置,成為用户的「口袋級」生產力夥伴。例如其中的RWKV7-G1 2.9B模型在高通手機平臺的速度可達30 token/s,且由於RWKV架構無需KV cache,在超長推理后仍然可以速度恆定,內存佔用恆定。

  • RWKV Sudoku:超長CoT

RWKV 數獨則展示了20M超小參數模型在超長鏈式推理(CoT)下的數學解題能力,憑藉恆定內存與極少token消耗,輕松破解複雜數獨,直觀呈現RWKV架構在端側的高效潛能。

在Transformer架構主導大模型領域的當下,移遠通信以前瞻性的眼光,積極佈局非Transformer的技術路線,致力於為客户提供更低算力、更少內存消耗的解決方案。

此次展出的RWKV7-G1 1.5B模型,經過移遠通信的工程優化后,在SG885G模組上的實測數據表現亮眼,明顯優於同等參數量的Transformer架構的模型,具體來説,

在Prefill階段:

  • 平均耗時減少83%

  • 平均處理速度提升345%

在Decoding階段:

  • 平均CPU使用減少23%

  • 平均內存使用減少36%

  • 平均功耗減少18%

移遠通信的SG885G基於高通QCS8550平臺開發,其AI綜合算力高達48 TOPS,能夠支撐7B左右參數級的多模態模型在本地化推理,從而實現實時視覺理解與多模態信息融合。在模型兼容性方面,移遠構建了強大的端側適配體系,率先實現對Llama、通義千問、DeepSeek等主流開源模型的全方位兼容,兼容的參數範圍覆蓋0.5B至8B,打造出了功能強大的端側大模型超級平臺。此外,在架構創新上,SG885G支持運行非Transformer路線的RWKV7架構,這一特徵顯著降低了對算力和內存的需求。

移遠通信首席運營官張棟表示:「此次與RWKV的戰略合作,是移遠通信 ‘讓終端擁有AI大心臟’技術理念的關鍵落地!RWKV的線性注意力架構,突破性地解決了端側設備的長序列處理瓶頸,再結合移遠的高算力模組,成功將AI大模型‘裝進’了物聯網終端。當農機能‘看懂’土壤的乾溼,當手表可以‘提醒’健康風險,AI就不再是飄在雲里的概念,而是真真切切來到了田間地頭、來到了你我的手腕上,讓科技真正服務於每一處需要它的地方。」

RWKV聯合創始人&COO羅璇表示:「我們希望讓每一臺設備都聰明起來,就像為它們植入了會思考的‘大腦’。隨着RWKV架構在移遠算力平臺上實現規模化部署,讓終端設備突破資源限制,構建‘雲端能力+本地智能’的雙引擎協同生態,為萬物智聯時代奠定技術基石。」

移遠通信與RWKV的戰略合作,不僅是一次技術與硬件的強強聯合,更是推動智能計算走向普惠的關鍵里程碑,讓「AI大模型」真正走出雲端,融入萬物。

7月26日-29日,誠邀蒞臨WAIC 2025移遠展臺(H1 D815),近距離體驗端側大模型解決方案的前沿科技魅力。

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。