英偉達高級研究科學家範麟熙：基於合成數據訓練AI將是未來方向

·MimicGen使用不到200個人類演示，可自主生成超過5萬個訓練數據，涵蓋18個任務、多個模擬環境。

「合成數據將為滿足大模型提供下一個萬億token（文字或語言符號）。」當地時間10月27日，英偉達高級研究科學家範麟熙（Jim Fan）介紹了關於合成數據的最新研究——MimicGen系統，該系統可以生成機器人的訓練數據。

機器人準備咖啡。

根據研究論文《MimicGen：使用人類演示進行可擴展機器人學習的數據生成系統》，MimicGen使用不到200個人類演示，可自主生成超過5萬個訓練數據，涵蓋18個任務、多個模擬環境。

MimicGen可自主生成超過5萬個訓練數據，涵蓋18個任務、多個模擬環境。

從大量人類示範中進行模仿學習，已經被證明是構建有能力的機器人智能體的有效範例。然而，示範的收集可能非常昂貴且耗時。研究發現，機器人智能體可以通過模仿學習在生成的數據集上進行有效訓練，以在長期和高精度任務中獲得出色的性能，例如多部件組裝和製備咖啡。此外，研究團隊進一步證明了MimicGen數據的有效性和實用性優於額外收集的人類演示，這使其成為擴大機器人學習規模的強大且經濟的方法。

部分任務示例。

機器人智能體可以通過模仿學習在這個生成的數據集上進行有效訓練，以在長期和高精度任務中獲得出色的性能，例如多部件組裝和製備咖啡。

這項研究的所有數據集全部開源。「我們是開源社區的忠實擁護者。像往常一樣，我們開源一切，包括生成的數據集。」範麟熙説。

對於這項研究的具體邏輯，範麟熙闡釋道：首先，人類遠程操控機器人完成一個任務，生成非常高質量的演示數據，但這個過程緩慢且昂貴。其次，在高保真的GPU（圖形處理器）加速的模擬環境中，創建機器人和場景的數字孿生。然后，在模擬環境中移動對象，替換新的物體，甚至改變機械臂，基本上是使用程序生成的方式擴充訓練數據。最后，導出成功的場景，提供給神經網絡進行訓練。

MimicGen適用於毫米級精度的接觸式任務。

「這樣就獲得了一個近乎無限的訓練數據流。」範麟熙認為，機器人技術落后於其他人工智能領域的一個關鍵原因是缺乏數據，其無法從互聯網上獲取控制信號，同時它們在野外（自然環境）里根本不存在。

「MimicGen展示了合成數據和模擬的力量」，範麟熙相信這一原則也適用於機器人以外的領域。「我們正在迅速用盡網絡上高質量的真實token。從人工合成數據中獲得人工智能將是前進的途徑。」

此前，加州大學伯克利分校計算機科學教授、《人工智能——現代方法》作者斯圖爾特·羅素（Stuart Russell）發出警告稱，ChatGPT等人工智能驅動的機器人可能很快「耗盡宇宙中的文本」，通過收集大量文本來訓練機器人的技術「開始遇到困難」。研究機構Epoch估計，機器學習數據集可能會在2026年前耗盡所有「高質量語言數據」。