英偉達等重新設計VLA推理！機器人動作提速3.4倍

（來源：機器之心）

本文第一作者為紐約大學計算機科學博士生 Jack Lu，研究工作完成於他在英偉達實習期間。本文由英偉達資深研究科學家、Alpamayo 研究技術負責人 Yan Wang，以及英偉達自動駕駛研究負責人、斯坦福大學副教授 Marco Pavone 共同指導。

如今，許多視覺 - 語言 - 動作（VLA）模型會先推理、再行動。在輸出動作之前，模型先寫一段簡短的文本，比如對場景的描述、一個計劃，或者下一步要完成的子任務。這樣做的機器人成功率更高，但速度也更慢。推理文本需要逐個 token 自迴歸地生成，動作必須等文本寫完才能開始。在論文的實驗中，寫推理文本最多佔到單次模型調用耗時的 70%。

來自英偉達、紐約大學、UC 伯克利、約翰斯・霍普金斯大學和斯坦福大學的研究團隊仔細考察了推理的收益究竟從何而來。他們發現，動作並不需要讀取當前這一步寫出的推理，模型學會寫推理就已經足夠。團隊據此提出了 TacitVLA。它和標準的推理 VLA 一樣被訓練去寫推理，但它的動作從不等待這段文本。

在機器人操作和自動駕駛的四個 benchmark 上，TacitVLA 的成功率與顯式推理相當，延迟最多降低 3.4 倍。在相同速度下，它比不加推理訓練的同一模型成功率最多高 17 個百分點。在兩個長程記憶 benchmark 上，TacitVLA 還刷新了已發表方法的最好成績，在 RMBench 上提升 21 個百分點，在 RoboMME 的計數任務上提升 16 個百分點。

• 論文標題：TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency

• 論文鏈接：https://arxiv.org/abs/2610.17540

• 項目主頁：https://tacitvla.github.io/

推理文本的三種作用

在推理 VLA 中，生成的文本有三種作用。

訓練時，它是監督目標。學習寫出這段文本，會塑造 action expert 所依賴的 backbone。

在長程任務中，它還可以充當記憶。假設機器人需要按好幾次按鈕，攝像頭拍不出已經按了幾次，但一份記錄已完成子任務的日誌可以。

最后，在部署時，文本是 action expert 的輸入。action expert 要讀取當前這一步寫出的文本，所以動作必須等待。TacitVLA 保留了前兩種作用，去掉了第三種。

方法

近期的推理 VLA 大多采用同一種結構。視覺 - 語言 backbone 負責寫推理，基於 flow matching 的 action expert 通過注意力讀取 backbone 的信息並輸出動作。在每個 benchmark 上，團隊用這一結構在相同數據上訓練三個策略。

在 Explicit Reasoning 中，action expert 會讀取自己剛寫出的推理，與 embodied chain-of-thought 的做法一致。TacitVLA 使用完全相同的訓練序列、損失函數、prompt 和優化器，唯一的區別是 attention mask 里的一處改動，它讓 action expert 看不到推理 token。No Reasoning 則是同一結構在不含推理文本的數據上訓練得到的模型。

這樣的設計把推理可能帶來幫助的兩條途徑分開了。

一是學習寫推理，可能訓練出更好的 backbone。二是讀取推理，可能為 action expert 提供有用的額外輸入。Explicit Reasoning 同時具備這兩種效果，No Reasoning 兩者都沒有。TacitVLA 只保留第一種，而第一種在部署時不花任何時間。

部署時，如果推理文本沒有用處，TacitVLA 就直接跳過不寫。在記憶任務上，每個新的子任務仍要寫入日誌，供后面的步驟使用。因此 TacitVLA 先算出動作，再在機器人執行這個動作的同時寫日誌。在兩個記憶 benchmark 上，每一次調用中日誌都在動作執行完之前寫完，所以沒有帶來任何額外延迟。

實驗結果

在全部四個 benchmark 上，TacitVLA 的成功率與 Explicit Reasoning 相當，並超過 No Reasoning，同時保持了 No Reasoning 的速度。

提升最大的是記憶 benchmark。在 RMBench 上，TacitVLA 在四個任務上的平均成功率為 77.5%，Explicit Reasoning 為 77.0%，此前已發表的最好結果為 56.5%。它相對 No Reasoning（60.4%）的提升大部分來自 Press Button 任務，在這個任務里，按了幾次只記錄在日誌中。在該任務上，No Reasoning 的成功率為 7.7%，TacitVLA 為 74.3%。

在 RoboMME 上，用全部 16 個任務訓練時，TacitVLA 的總體成功率為 48.1%，此前最好結果為 44.5%。在計數任務上，它達到 82.7%，此前最好為 66.8%。只用計數任務訓練時，它達到 89.5%，高於該 benchmark 給出的人類參考成績 88.5%。在人類參考的設定中，人只負責選擇高層步驟，具體動作由 oracle planner 執行，而 TacitVLA 的每一個動作都由自己完成。

推理在不需要記憶的任務上同樣有幫助。LIBERO-Plus 以零樣本方式測試七類擾動。在這個 benchmark 上，兩個推理策略取得了僅用 LIBERO 訓練的已發表策略中的最高分，Explicit Reasoning 為 73.5%，TacitVLA 為 72.9%，No Reasoning 為 67.6%。

在標準 LIBERO 上，TacitVLA 達到 98.6%，與已發表的最好結果持平。在公開的 AlpaSim 挑戰賽場景上進行閉環駕駛測試時，TacitVLA 的場景得分為 52.5%，Explicit Reasoning 為 52.3%，No Reasoning 為 46.4%。這一成績與 Alpamayo-R1 只差 2.5 分。Alpamayo-R1 是一個使用四個攝像頭的 10B 模型，而 TacitVLA 的參數量不到它的一半，攝像頭也只用了一半。

在單張 H100 GPU 上，TacitVLA 在 LIBERO 上輸出一個動作需要 147 ms，Explicit Reasoning 需要 495 ms，是前者的 3.4 倍。在自動駕駛中，兩者分別為 127 ms 和 269 ms。在記憶任務上，Explicit Reasoning 慢 1.4 到 1.7 倍。TacitVLA 則在執行期間寫日誌，最多隻佔用執行時間的 23%。

總結

實驗覆蓋了機器人操作和自動駕駛，也覆蓋了需要記憶和不需要記憶的任務。在這些設定中，推理的收益都通過在推理文本上的訓練傳遞給動作。在記憶任務上，收益還通過此前寫下的日誌傳遞。讀取當前這一步的推理只會讓策略變慢，並不會讓它更成功。

TacitVLA 不需要額外的模型，也不需要調度器。任何採用這種結構的推理 VLA，只要在訓練時用 attention mask 讓 action expert 看不到推理 token，就能變成 TacitVLA。