通用具身Agent框架讓零樣本Qwen跑贏Astra！清華伯克利聯手開源

作者 | 四月

從 Figure 01 接入 Astra 展現自然語言實時交互，到谷歌以 Project Astra 和 RT-2 演示多模態大模型的空間常識拆解，通用基礎模型在物理控制領域的強勢滲透，一度引發了具身智能行業的集體焦慮——專用具身策略是否會被大模型降維收割？

然而，商業閉源接口的物理黑盒、毫秒級延迟風險與無法獲取模型權重的現實，長期將絕大多數開發者隔絕在物理閉環訓練之外。

近日，加州大學伯克利分校與清華大學聯合團隊發佈論文《Democratizing Robot-Use Agents: A Unified Harness with Open Models （讓機器人操作智能體走向普惠：基於開源模型的統一交互框架）》，提出並開源了統一機器人 Agent 框架 uni-robot-agent，為通用開源大模型連接仿真環境與真實機器人提供了一套可複用的工程基礎。

在無需針對具體機器人任務進行專門訓練（零樣本）的前提下，開源權重模型 Qwen3.8-Flash-Next 展現出驚艷表現：

1）在 RoboDojo 仿真基準中以 31.39 分，超過閉源旗艦 GPT-6 Astra 此前公佈的（28.97 分）基線，以及多個經過任務微調的 VLA/WAM 基線模型；

2）在 19 項真實機械臂操作中獲得 53.50 分，超過零樣本 Dream-1（43.50 分），也高於經過每項任務 10 小時機器人演示數據微調的專用具身策略模型 π₀.₅（47.75 分）。

這份研究的團隊背景也相當值得關注，共有 28 位作者參與。第一作者為 Jiarui Yuan，Yuxin Zuo、Xiaoyu Huang 擔任項目負責人，其中 Yuxin Zuo 曾在阿里從事研究工作，並參與過 Qwen3.5 相關項目。

其他作者還包括伯克利機器人學習實驗室主任、BAIR 聯合主任 Pieter Abbeel（機器人學領域泰斗級人物、具身智能與機器人學習先驅），以及清華大學教授劉知遠、周伯文等知名學者。

該研究沿着通用多模態大模型驅動機器人操作的 Robot-Use Agent 技術思路，進一步將這一能力從閉源前沿模型拓展至開放權重模型，降低了機器人操作智能對商業閉源模型 API 的依賴。

通過統一工具接口、執行調度和反饋機制，研究團隊也為開放權重模型的本地部署、機器人交互數據採集及后續訓練提供了可複用的工程基礎。

模型與本體解耦

大模型控制機器人一直面臨一個底層工程難題：不同模型、機械臂與仿真環境之間的接口高度割裂。以往為特定機器人編寫的控制腳本無法平移給其他硬件，模型稍作更換就需要推倒重寫一套提示詞與解析邏輯。

uni-robot-agent 的本質，是充當連接通用基礎模型與物理硬件之間的 Agent Harness（統一運行中間件）。它的核心設計原則是決策與執行徹底解耦，自上而下被劃分爲五層架構：

• Agent 層：負責接收任務目標、管理多模態長上下文，並驅動大模型輸出結構化意圖；

• Orchestration（編排層）：負責管理狀態機、校驗動作參數、調度異步任務與異常攔截；

• Tools（工具層）：向下封裝出通用的原子化控制接口（如空間位姿平移、連續夾爪控制、環境感知採樣）；

• Services（服務層）：統一處理多相機內外參標定矩陣、點雲投影與空間座標變換；

• Backend（后端層）：直接對接具體硬件驅動或仿真內核（如 Franka、ALOHA 雙臂、RoboDojo 仿真器等）。

舉個例子，當 Qwen 接收到「把紅色積木放到藍色積木上」的指令時，它不需要知道某臺機械臂具體使用什麼控制協議，而是通過統一工具接口提交目標位置、姿態和夾爪狀態。框架再通過對應的環境適配器，將這些操作轉換為機械臂能夠理解的控制命令。

動作執行后，機器人返回最新狀態、攝像頭圖像和執行結果，大模型據此判斷是否需要調整下一步操作。

論文還專門展示了工具複用機制。過去，如果有 N 種機器人操作工具和 M 種不同環境，開發者可能需要維護 N×M 套工具與環境的組合實現。通過統一工具接口和環境適配器，將其壓縮為單點擴展的  N + M  適配器模式，工具邏輯可以跨環境複用，大幅減少重複開發工作。

除了接口統一，框架還針對物理控制的實際運行效率進行了針對性優化。過去「模型串行思考—機械臂動作—等待下一次思考」的交互方式存在大量時間空轉。

框架採用了模型推理與底層執行重疊的流水線調度，在機械臂平穩移動的同時，並行預加載下一步動作規劃，大幅壓低了端到端物理等待延迟，為后續高頻交互軌跡的規模化採集打下了工程基礎。

開源陣營的物理戰力

爲了驗證中間件的實際效能，論文分別在虛擬仿真 RoboDojo 測試與真實物理雙臂環境下組織了系統性評測。

42 項 RoboDojo 仿真測試

RoboDojo 是基於 Isaac Sim 構建的高難度物理基準，涵蓋開放泛化、精細裝配、長程多步、時序記憶與模糊指令理解五個維度。

評測嚴格限制模型只能使用 RGB 畫面、相機標定與機器人本體關節讀數，堅決剝離真實深度圖、物體 CAD 模型及任務成功驗證器等外掛特權信息，強迫模型完全憑藉真實視覺輸入進行空間推演。

實驗數據呈現出多維度的對照細節：

1）開源模型表現亮眼

在接入 uni-robot-agent 后，開源權重模型 Qwen3.8-Flash-Next 拿下 31.39 分（完整任務成功率 25.00%）；同屬開源陣營的 DeepSeek-V4.1 也取得了 27.11 分（成功率 21.39%），均越過了此前行業公開記錄中 GPT-6 Astra 配合舊系統 RoboProbe 跑出的 28.97 分。

2）中間件是真正的效能放大器

控制變量實驗清晰表明，基座模型能否在物理世界發揮作用，高度依賴中間件的精密程度。同一個 Qwen 模型，在舊基準 RoboProbe 下僅有 1.90 分（幾近癱瘓），在 RPent 下為 7.75 分，在 GAP 混合框架下為 21.01 分，而在新框架下飆升至 31.39 分。

3）頂尖模型的上限依然被拉高

當閉源旗艦 GPT-6 Astra 換上 uni-robot-agent 后，其純視覺得分直接飆升至 51.90 分（成功率 46.67%），引入深度數據后更達到 56.76 分。這印證了前沿閉源模型在認知高度上仍有明顯優勢，但此前的工程框架嚴重遮蔽了這一潛能。

19 項非結構化桌面實機盲測

走出仿真器，團隊在配備兩隻 X5 機械臂與三臺 RealSense D405 相機的 ARX AC one 雙臂平臺上，搭建了覆蓋空間理解、物體泛化、指令遵循、組合泛化與未見任務五個維度的 Real Eval 真機測試集。

實機評測進一步突出了通用大模型與專用具身策略模型的對比：

• GPT-6 Astra：80.50 分

• Qwen3.8-Flash-Next：53.50 分

• 專用具身策略 π0.5（微調）：47.75 分

• 視覺運動策略 Dream-1（零樣本）：43.50 分

可以看到，通用大模型憑藉「常識推理+容錯自愈」的泛化優勢，無需特定訓練便能超越靠海量遙操數據死記動作的專用具身模型，而 Astra 的斷層領先更證明了機器人物理操作的天花板終究取決於基座模型的認知高度。

決定機器人 Agent 成敗關鍵能力

跳出單純的分數排名，這項研究更重要的學術價值在於指明瞭：到底什麼樣的底層能力，決定了一個基礎大模型能否順利跨入物理世界？

研究團隊通過對多代際、多家族模型的橫向消融與失敗軌跡歸因，提煉出了物理智能體必須具備的四項核心支柱能力：

1. 通用視覺理解（Visual Understanding）：在真實陰影、反光材質和遮擋環境中，辨識物體朝向與狀態變化（如精準區分杯子是正放還是倒扣）；

2. 空間定位能力（Spatial Grounding）：將二維圖像像素準確錨定並投影為物理三維尺度的幾何直覺；

3. 幾何編程能力（Geometry-guided Coding）：面對多機位視角，能夠自主編寫幾何算法與多視變換代碼，通過三角測量解算出目標物體的空間座標；

4. 具身常識推理（Embodied Reasoning）：理解剛體與柔性體形變、摩擦力、重心分佈以及雙臂防碰撞的物理直覺。

這一能力歸因揭示出了一個反直覺的行業現象：模型參數規模與物理操作能力並不呈簡單的線性正相關。

在論文實測中，較新訓練的 Qwen3.8-27B 已經能穩定解出多項複雜操作，而參數量遠大於它的早期模型 Qwen3.5-122B 以及 Qwen3.7 Plus 卻在多項任務中連續失敗。這表明，如果預訓練過程中沒有針對空間幾何投影、視覺對齊以及可執行代碼生成進行有效訓練，單純堆疊參數量對機器人物理控制的幫助十分有限。

同時，論文將 RoboDojo 的成績與主流通用大模型基準進行了相關性比對，發現具身成績與 MMMU-Pro（高級多模態推理）、ERQA（具身問答）、ScreenSpot-Pro（細粒度視覺定位）以及 LiveCodeBench（複雜代碼生成） 呈現出極高的正向綁定。

這一發現為整個具身智能演化路徑提供了一條關鍵啟示：要讓大模型學會精準使用機器人，未必只能一頭扎進成本高昂、難以規模化的機械臂遙操數據泥潭里；持續強化通用模型的多模態空間理解、物理因果直覺與幾何代碼生成能力，同樣是在為物理智能體注入最核心的控制中樞。

項目地址：https://github.com/Open-RUA/uni-robot-agent

聲明：本文為AI 前線原創，不代表平臺觀點，也不構成投資建議，未經許可禁止轉載。