热门资讯> 正文
2026-08-18 19:08
该套件以Trossen Inbox和Rivet为主角,这是其固定和移动的双手操纵平台。物理人工智能模型只能与它们训练的演示数据一样好,而且大部分数据都是视觉数据。如今,团队通常使用单独采购的机器人手臂和消费级USB摄像头组装自己的钻机,依靠自定义驱动程序代码来连接它们。结果是数据集具有低分辨率图像、校准不一致、运动模糊以及视图和数据流之间的时间漂移。
Trossen Inbox和Rivet是统一的开发平台,具有双WidowX Pro 6-DoF臂,射程从700毫米到1000毫米,有效负载能力为4至6公斤有效负载,可重复性为1毫米。每个平台均由机载NVIDIA Jetson AGX Orin 64 GB计算机提供支持,并支持通过本地网络和互联网进行远程操作。每个还包括完全由Stereolabs硬件构建的工厂校准的三摄像机视觉系统。
Stereolabs和Trossen联合愿景架构反映了最先进的操纵策略的训练方式。中央安装的Stereolabs ZED X Mini提供整个工作空间的全球场景视图和立体深度上下文,而每个腕式安装的ZED X Nano提供模仿学习策略所依赖的抓取器和物体的近距离视图进行精细操纵。
ZED X Nano专为此应用而设计。其双2.3 MP(1920 x 1200)全球快门传感器的捕捉速度高达60帧/秒,没有滚屏式快门USB相机的运动模糊,其神经深度引擎从近至3厘米(实际发生的距离)处解析几何形状。GMSL 2连接具有锁定、耐EMI电缆,通过零复制管道使Jetson上的所有三个摄像机确定性同步,因此团队可以同时记录、编码和运行推理,而不会在剧集中途悄然丢失帧。机载抗振IMU即使手臂快速移动,也能保持手腕视野可用。
在收件箱和Rivet上收集的每一集远程操作都是一个干净、同步、多视图、RPG加深度训练样本,通过对LOS 2和NVIDIA Isaac Sim / Isaac Lab的本地支持,准备好模仿学习、强化学习和模拟到真实的工作流程。