熱門資訊> 正文
2025-08-12 17:30
一水 發自 凹非寺
量子位 | 公眾號 QbitAI
老黃看好機器人,還真不是嘴上説説!
這不,就在正在舉辦的SIGGRAPH(計算機圖形學)大會上,英偉達為機器人帶來了全新升級的Cosmos世界模型。
Cosmos主要被用來生成符合現實世界物理規律的合成數據,自發布以來,已被Figure、Agility Robotics、通用汽車等一眾知名機器人和自動駕駛公司採用。
這次升級重點聚焦在規劃能力和生成速度兩大方面:
推出Cosmos Reason:一款70億參數、具備推理能力的視覺語言模型,可幫助機器人進行任務規劃;
新增Cosmos Transfer-2&精簡版:加速將虛擬場景轉化為訓練數據,並提供更快的輕量化版本。
除了軟件更新,英偉達還幾乎全面升級了機器人開發配套技術與硬件——包括全新的Omniverse庫、RTX PRO Blackwell服務器,以及DGX Cloud雲平臺等。
英偉達人工智能研究副總裁Sanja Fidler表示:
AI正在提升我們的模擬能力,而模擬能力也在推動AI系統的發展。
這兩個領域之間存在着真實而強大的結合,這種結合很少有人能做到。
如今,英偉達正憑藉一整套機器人開發基礎設施,全力衝擊這一融合新高地。
軟硬件都更新了
還是先來看看具體都有哪些更新。
軟件層面,僅7B大小的Cosmos Reason尤為值得一提。
官方表示,這個模型不僅具備紮實的物理理解能力,還能運用常識進行多步推理,能用作機器人的「大腦」。
通過記憶和推理,它可以作為一個規劃模型,推理實體Agent下一步可能採取的步驟。
同時,英偉達還推出了加速合成數據生成的Cosmos Transfer-2及其更輕量的精簡版,以此大幅縮短從虛擬場景或空間控制信息到訓練數據的轉換時間。
這當中的精簡版,主要是將70步蒸餾過程簡化爲了1步,從而能在RTX PRO服務器上更高速地運行。
而爲了配合這些模型,英偉達還發布了功能更強大的Omniverse新庫與SDK,支持機器人開發者更便捷地進行三維重建、仿真及跨平臺數據互通。具體則包括下面這些:
1、實現了MuJoCo和OpenUSD這兩種機器人仿真格式的數據兼容,讓大量開發者可以更方便地在不同平臺之間進行機器人模擬。
2、引入Omniverse RTX光線追蹤和3D高斯渲染技術,使開發者能夠利用傳感器數據以三維形式捕捉、重建並模擬現實世界。
3、在GitHub開源機器人仿真和學習工具Isaac Sim 5.0與Isaac Lab 2.2,結合了新渲染技術和統一的數據格式,幫助機器人開發者更好地縮小虛擬仿真和現實環境之間的差距。
總之,Cosmos+Omniverse作為一對黃金搭檔(前者負責構建逼真、高效的三維仿真和數字孿生環境,后者則專注於提供強大的物理AI模型和智能推理能力),當二者一結合,最終就能為機器人訓練生成更精確、更大規模的數據。
搞定數據之后,接下來還有硬件問題。
對此,英偉達也專門推出了RTX PRO Blackwell服務器,覆蓋訓練、合成數據生成、機器人學習與仿真等工作負載。
而且藉助DGX Cloud,開發者可以隨時隨地通過雲端高效運行Omniverse和Cosmos相關應用,輕松實現大規模仿真與訓練任務,極大降低了硬件門檻和運維成本。(目前DGX Cloud已經上線微軟雲市場)
英偉達全力押注機器人領域
以上動作不難看出,英偉達正在大力佈局機器人研發領域。
至於背后考量,官方以一篇最新博客進行了詳細介紹,總結起來就是:
計算機圖形與AI正在融合,將從根本上改變機器人領域。
沒錯,以圖形學發家的英偉達,正是由於看到了圖形學和AI融合的趨勢以及這種趨勢對機器人領域的重要影響,才選擇將機器人作為下一個關注重點。
舉個例子,傳統機器人訓練依賴現實數據,獲取成本高且受限,而計算機圖形技術可以打造逼真的虛擬環境,結合AI實現物理精確的仿真。
如此一來,機器人學習各種技能的門檻和成本就被打下來了,從而更有可能加速機器人落地應用。
按照英偉達研究副總裁Ming-Yu Liu的觀點,英偉達的目標是構建一個完整、逼真且可擴展的「虛擬平行宇宙」,讓機器人能在其中安全反覆試驗、不斷進化。
物理AI需要一個逼真的虛擬環境,讓機器人能夠在這個安全的平行世界中反覆試驗、不斷學習。
要打造這樣一個虛擬世界,我們必須結合實時渲染、計算機視覺、物理運動模擬,以及2D和3D生成式AI與AI推理技術。這些正是英偉達研究團隊過去二十年持續專注和不斷打磨的核心領域。
顯而易見,一旦這個「機器人虛擬世界」構建成功,英偉達也能將這套基礎設施賦能給更多開發者和企業,幫他們更快地搞出各種機器人和AI應用。
這樣一來,英偉達不僅能進一步穩固自己在圖形領域的頭把交椅,還能在具身智能時代繼續擔任「賣鏟人」的角色。
嗯,多麼熟悉的「套路」(doge)~
而且從老黃最近的一系列公開動作來看,他對咱們中國機器人屬實尤為偏愛了。
不僅在各種場合誇誇,近來更是像曾經對待OpenAI那樣(早期給OpenAI送超算),將首批Jetson Thor芯片送到了國產玩家銀河通用手里。
此外,英偉達還正在和阿里雲、北京人形機器人創新中心、傅利葉、加速進化、優必選、智元機器人等企業達成深度合作。阿里雲更是宣佈,英偉達全棧機器人及物理AI組件已通過其雲端服務開放使用。
該説不説,英偉達在國內賣機器人鏟子的生意算是逐漸打開局面了。
Cosmos開源地址:
https://github.com/nvidia-cosmos
參考鏈接:
[1]https://techcrunch.com/2025/08/11/nvidia-unveils-new-cosmos-world-models-other-infra-for-physical-applications-of-ai/
[2]https://investor.nvidia.com/news/press-release-details/2025/NVIDIA-Opens-Portals-to-World-of-Robotics-With-New-Omniverse-Libraries-Cosmos-Physical-AI-Models-and-AI-Computing-Infrastructure/default.aspx
(聲明:本文僅代表作者觀點,不代表新浪網立場。)