熱門資訊> 正文
2026-08-18 19:08
該套件以Trossen Inbox和Rivet為主角,這是其固定和移動的雙手操縱平臺。物理人工智能模型只能與它們訓練的演示數據一樣好,而且大部分數據都是視覺數據。如今,團隊通常使用單獨採購的機器人手臂和消費級USB攝像頭組裝自己的鑽機,依靠自定義驅動程序代碼來連接它們。結果是數據集具有低分辨率圖像、校準不一致、運動模糊以及視圖和數據流之間的時間漂移。
Trossen Inbox和Rivet是統一的開發平臺,具有雙WidowX Pro 6-DoF臂,射程從700毫米到1000毫米,有效負載能力為4至6公斤有效負載,可重複性為1毫米。每個平臺均由機載NVIDIA Jetson AGX Orin 64 GB計算機提供支持,並支持通過本地網絡和互聯網進行遠程操作。每個還包括完全由Stereolabs硬件構建的工廠校準的三攝像機視覺系統。
Stereolabs和Trossen聯合願景架構反映了最先進的操縱策略的訓練方式。中央安裝的Stereolabs ZED X Mini提供整個工作空間的全球場景視圖和立體深度上下文,而每個腕式安裝的ZED X Nano提供模仿學習策略所依賴的抓取器和物體的近距離視圖進行精細操縱。
ZED X Nano專為此應用而設計。其雙2.3 MP(1920 x 1200)全球快門傳感器的捕捉速度高達60幀/秒,沒有滾屏式快門USB相機的運動模糊,其神經深度引擎從近至3釐米(實際發生的距離)處解析幾何形狀。GMSL 2連接具有鎖定、耐EMI電纜,通過零複製管道使Jetson上的所有三個攝像機確定性同步,因此團隊可以同時記錄、編碼和運行推理,而不會在劇集中途悄然丟失幀。機載抗振IMU即使手臂快速移動,也能保持手腕視野可用。
在收件箱和Rivet上收集的每一集遠程操作都是一個乾淨、同步、多視圖、RPG加深度訓練樣本,通過對LOS 2和NVIDIA Isaac Sim / Isaac Lab的本地支持,準備好模仿學習、強化學習和模擬到真實的工作流程。