Skip to content

解读OpenVLA5 天前

具身数据金字塔拆解:百万真机轨迹与200万小时人类视频的Scaling Law边界 ​

从OXE到AgiBot World真机数据与Maxinsights人类视频,揭示异构数据规模反差背后的工程归因与复现陷阱

智元精灵 G2Franka RoboticsFranka FR3松灵机器人松灵 PiPERIsaac GR00T N1.7π0 (openpi)LeRobot

一分钟速览

  • 真机基准锚点: Open X-Embodiment与DROID核实仅含480条轨迹共4小时数据,作为VLA预训练基石,其价值在于跨平台RLDS格式对齐而非绝对规模,是检验模型泛化能力的标准化低噪底座。
  • 工业级真机跃升: AGIBOT WORLD 2026提供3万条轨迹250小时数据,集成触觉/力觉/LiDAR六模态;申报案例中“百万原子动作”与开源“数百小时”分母不同,前者为短程切片总和,后者为连续操作时长。
  • 人类视频Scaling验证: Maxinsights交付超200万小时第一视角视频,ARR破亿验证商业化闭环;但4.24mm SLAM精度仅为运动学先验,缺乏力控反馈,GENE-26.5仍需<1h真机微调才能完成20步烹饪,证明纯视觉数据无法零样本迁移至物理交互。
  • 采集范式代际切换: 行业正从异构遥操迈向同构外骨骼采集,消除运动映射失真;LA-33K-V通过Qwen-3-VL-Plus自动分割3.3万原子片段并保留RGB流,展示了从粗粒度长视频向高质原子技能提取的数据清洗新范式。

材料说明

本文依据Open X-Embodiment、DROID、AGIBOT WORLD 2026数据集卡片,智元国家数据局申报案例,以及Maxinsights公开报道撰写。文中“480条/4小时”、“3万条/250小时”均为站内核实数据;“百万原子动作”、“850TB”源自智元申报书;“200万小时”、“ARR 1亿美元”源自Maxinsights媒体报道。需注意:申报书中的“比OXE长程数据高10倍”为企业自述对比,非联合评测结论;Maxinsights的SLAM精度为内部评测指标;各数据集间因采集设备、任务定义与切片粒度不同,规模数字不可直接线性比较。

  • 480条 / 4小时 OXE与DROID核实轨迹数与总时长,确立跨机器人VLA预训练的标准化小样本基准
  • 30,000条 / 250h AgiBot World 2026开源真机数据规模,支持六模态感知与多粒度层级标注
  • 200万小时 / 4.24mm Maxinsights累计交付Egocentric视频量级及其自研MaxSLAM位置轨迹误差精度
  • 33,116条 / 15FPS LA-33K-V从DROID中提取的原子操作片段数及帧率,代表自动化数据清洗新范式

真机数据基准与工业级跃升:从4小时到250小时的模态鸿沟 ​

在具身智能数据金字塔的底层,Open X-Embodiment与DROID构成了学术界公认的“标准砝码”。尽管业界常以“百万级”形容OXE生态,但经站内深度核验,其核心预训练子集实际包含480条轨迹、总时长仅4.0小时。这一数字反差并非数据匮乏,而是工程取舍的结果:这4小时数据严格对齐了多视角RGB、关节/末端本体感知、自然语言指令与连续控制动作四类模态,并统一为RLDS格式。对于OpenVLA等模型而言,这种高密度、低噪声、跨平台(Franka、Agilex Piper、Unitree G1)对齐的数据,其单位信息熵远高于未清洗的海量原始日志。工程师在复现时应注意,OXE的价值在于提供了一个可复现的泛化性测试床,而非追求绝对规模。

相比之下,AGIBOT WORLD 2026代表了工业级真机数据的跃升。其开源部分已达30,000条轨迹、250小时,且模态扩展至RGB-D、触觉、力觉、LiDAR、IMU及关节状态六类。这种模态密度的提升直接改变了模型的输入空间维度:触觉与力觉信号的引入,使得策略网络必须处理高频(通常>100Hz)接触反馈,而不仅仅是30Hz的视觉流。从控制论视角看,这意味着数据不再仅仅是“视觉-动作”映射,而是包含了阻抗控制所需的物理交互信息。然而,这也带来了存储与IO瓶颈:250小时的六模态数据对显存带宽和加载管线提出了严苛要求,远超纯视觉数据集。

指标Open X-Embodiment / DROIDAGIBOT WORLD 2026
核实规模480条 / 4.0小时30,000条 / 250.0小时
核心模态RGB + Proprioception + Language + ActionRGB-D + Tactile + Force + LiDAR + IMU + Joint
采集方式Mixed / Teleop超视距第一视角遥操作
存储格式RLDS / LeRobot Parquet / HDF5LeRobot Parquet / HDF5 / RLDS
关联机型Franka FR3, Agilex Piper, Unitree G1智元精灵 G2
工程侧重跨平台格式对齐与泛化基准多模态物理交互与复杂场景覆盖

需特别警惕的是“两套数字”陷阱。智元在国家数据局申报案例中提及“超过一百万条原子动作轨迹、850TB数据”,这与开源卡中的“3万条/250小时”并不矛盾,但分母完全不同。“原子动作”是将长程任务切分为秒级甚至亚秒级的技能片段,一条1分钟的演示可能包含数十个原子动作;而“250小时”是连续操作的物理时长。工程师在评估数据规模时,必须明确统计口径是“Episode级”还是“Atom级”,否则会将数据规模误判一个数量级。此外,申报书中“比OXE长程数据高10倍”为企业自述对比,尚未得到第三方联合验证,引用时需保持审慎。

人类第一视角视频的Scaling Law:200万小时的商业验证与物理缺失 ​

当具身智能试图突破真机数据采集的成本天花板时,人类第一视角(Egocentric)视频成为了Scaling Law的新载体。Maxinsights的案例提供了迄今最清晰的商业与技术验证:累计交付超200万小时Egocentric数据,其中带手部追踪和语言标注的超150万小时,月产能达45万小时,ARR连续多月逼近1亿美元。这一数字表明,高质量人类视频已从学术资源转变为标准化的基础设施商品,其供应能力决定了头部公司(OpenAI、Figure AI等)的训练节奏。

然而,200万小时人类视频与250小时真机数据之间存在本质的“物理鸿沟”。Maxinsights自研MaxSLAM模型虽能实现4.24mm位置轨迹误差和0.57°姿态误差的重建精度,但这仅是运动学层面的视觉重建,完全缺失了力觉、触觉及电机扭矩等动力学信息。从控制论角度看,人类视频提供了丰富的“语义-运动”先验,却无法提供“接触-稳定”约束。这就是为什么Genesis AI的GENE-26.5模型在使用独家人类视频预训练后,仍需不到1小时的特定机器人真机数据微调,才能完成约20步连续烹饪操作。这<1小时的真机数据,本质上是在用真实的物理反馈去“校准”人类视频中缺失的动力学参数。

工程复现中的真实坑点在于:直接将人类视频用于机器人策略训练会导致严重的Sim-to-Real或Human-to-Robot Gap。人类手部的自由度、抓握形态与机械臂末端执行器存在显著差异,且视频无法记录操作者施加的力。因此,人类视频的Scaling Law有效性是有条件的:它必须配合高精度的重定向(Retargeting)算法或作为VLA模型的语义预训练语料,而不能替代真机数据进行端到端控制策略学习。Dyna Robotics利用100万小时人类视频使动作预测MSE降低12%,这一收益主要体现在运动规划层面,而非底层执行稳定性。

此外,数据供应商的壁垒正在从“采集量”转向“结构化质量”。Maxinsights之所以能进入核心供应链,关键在于其提供了“手部追踪+语言标注”的对齐数据,而非原始视频流。对于算法工程师而言,获取200万小时无标注视频的边际效用极低,真正稀缺的是经过SLAM重建、动作分割与语义对齐的高密度子集。这也解释了为何AgiBotWorld-Beta在Hugging Face上获得6.6万次下载——社区渴求的是可直接消费的Token化数据,而非待处理的像素海洋。

数据清洗新范式:从粗粒度长视频到原子技能的自动化提取 ​

随着原始数据规模的膨胀,如何从海量长视频中高效提取高质量“原子技能”成为新的工程瓶颈。LA-33K-V数据集展示了一种可复制的自动化清洗范式:从DROID原始数据中,利用静止区间检测与夹爪状态变化等时序线索定位候选片段,再调用Qwen-3-VL-Plus生成原子区间与视觉无关指令,最后经人工验证保留质量分≥2/3的片段,最终产出33,116条15FPS的原子操作数据。这一流程将传统依赖人工标注的“长视频→技能库”转化效率提升了数个数量级。

该范式的核心价值在于解决了“数据规模”与“标注粒度”的矛盾。原始DROID数据虽包含完整任务流程,但大量时间消耗在过渡、等待或失败恢复上,有效信息密度低。LA-33K-V通过算法过滤冗余,保留了高密度的“动作-语言”对齐片段,且特意保留了被原版LA-33K遮罩的三路RGB视频流(双外部视角+腕部视角)。这对VLA模型至关重要:腕部视角提供了精细操作的视觉反馈,而外部视角补充了全局空间上下文,两者结合才能支撑起鲁棒的模仿学习。

工程师在复用此范式时需警惕两个边界:一是VLM生成的指令可能存在幻觉,必须设置人工验证阈值(如LA-33K-V的2/3分),否则噪声标签会污染策略训练;二是原子片段的切割边界若不准确,会导致模型学习到不完整的动作原语。材料明确指出该数据“不建议未经任务验证直接部署到安全关键系统”,这说明自动化清洗产出的数据仍需下游任务验证才能形成闭环。此外,15FPS的帧率对于高速动态操作可能不足,但在桌面级操作任务中已平衡了存储成本与时间分辨率。

这种“大模型辅助清洗”的模式正在重塑数据工厂的生产关系。过去,数据质量高度依赖遥操作员的熟练度与标注员的耐心;现在,它更多取决于清洗Pipeline的设计与VLM的推理能力。智元申报案例中提到的“生产效率提升40%、准确性99%以上”,很可能也采用了类似的自动化质检与切片技术。对于中小团队而言,与其盲目追求自建大规模采集场,不如优先构建高效的清洗与验证管线,从现有开源数据(如DROID、OXE)中挖掘剩余价值。

采集范式代际演进:同构外骨骼如何破解异构映射失真 ​

具身数据采集正经历从“异构遥操作”向“同构第一视角采集”的关键代际切换。早期遥操作(如传统主从臂或手柄控制)存在固有的运动映射失真:操作者的意图经过逆运动学求解、坐标系转换与安全限制过滤后,记录的轨迹已偏离人类自然操作模式。这种失真导致模型学到的是“机器人在被人操控时的妥协行为”,而非“人类完成任务的最优策略”。2024年Stanford UMI提出的同构外骨骼方案成为转折点,通过本体结构对齐,实现了人类动作到机器人轨迹的无损传递。

AGIBOT WORLD 2026采用的“超视距第一视角遥操作”正是这一范式的工业落地。其核心优势在于:操作者佩戴与机器人末端执行器运动学同构的外骨骼,同时通过头显获得机器人第一视角反馈。这种配置消除了视觉-运动协调中的坐标变换延迟,使采集到的轨迹在时空一致性上更接近人类自然操作。从数据分布角度看,同构采集产生的轨迹方差更小、平滑度更高,减少了模仿学习中因操作者不适配导致的模式崩溃风险。

然而,同构采集并未解决所有问题。首先,外骨骼本身有重量与惯性,长时间操作会导致疲劳,进而影响数据后期质量;其次,超视距传输引入了通信延迟与丢包风险,尤其在复杂电磁环境中,这可能造成轨迹抖动或中断。材料中提到智元自建2000平方米真实场景并配备专业遥操作员班次,说明即便采用先进采集范式,人的因素仍是数据质量的决定性变量。此外,同构外骨骼目前主要适配特定机型(如智元精灵G2),跨平台通用性仍受限,这限制了其在异构机器人生态中的推广速度。

产业观察显示,北京五道口等研究集群正加速布局此类采集基建,标志着竞争重心从本体制造转向数据资产积累。但投资人观点“没有一家泛化远超同行”提醒我们:采集范式的升级只是必要条件,而非充分条件。真正的壁垒在于能否将同构采集的高质量数据,与仿真数据、人类视频有效融合,形成互补的数据飞轮。单纯堆砌同构数据量,若缺乏多样化的任务分布与失败案例覆盖,仍难以突破泛化瓶颈。

商业交付与工程复现:数据资产的定价逻辑与使用边界 ​

具身数据已从学术共享品演变为高价值商业资产,但其定价与使用逻辑与传统软件数据截然不同。Maxinsights ARR破亿证明了市场对高质量Egocentric数据的付费意愿,但其商业模式建立在“持续采集+结构化交付”之上,而非一次性卖断。850TB的AgiBot World数据背后是场地、人员、质检与存储的持续投入,材料明确指出“没有工时单价,就不要除出一个‘每条几元’的数”。这揭示了具身数据的成本结构:边际采集成本递减,但存储、带宽与维护成本线性增长。

对于工程复现者而言,最大的坑点在于混淆“声明规模”与“可用规模”。智元申报书中的“百万原子动作”与开源的“3万条轨迹”都是事实,但前者可能包含大量未公开的低质或重复片段;Maxinsights的“200万小时”是交付总量,但研究者能获取的可能仅是其中经过筛选的子集。在选型时,应优先关注数据集是否提供明确的元数据索引、质量评分与失败案例标记,而非仅看总量数字。AgiBotWorld-Beta仅提供文本模态且规模为1亿-10亿参数区间,引用时必须注明版本号,避免与全模态版本混淆。

另一关键边界是“混合路线”的验证缺失。宇树、星海图走真机路线,银河通用侧重合成仿真,智元与星动纪元采用混合路线。材料强调“这个分类描述数据来源,不直接代表模型能力”。混合路线的理论优势是用仿真扩展长尾、用真机校准现实,但实践中若混合比例、任务分布与验证方法不透明,反而可能引入系统性偏差。例如,仿真生成的完美轨迹可能掩盖真实世界的摩擦与打滑,导致模型在真机上过拟合于理想条件。现阶段,更可比较的是公开任务上的数据构成与失败边界,而非路线类型本身。

最后,数据安全与合规正成为隐形门槛。Maxinsights覆盖全球2000+环境、50000+场景,涉及大量隐私敏感区域;AgiBot World涵盖家居、商超等真实场所。这些数据在跨境传输、脱敏处理与授权链条上的合规成本,往往被技术讨论忽略。工程师在使用第三方数据时,务必核查其Apache-2.0等开源协议是否覆盖全部模态,以及是否包含对人脸、车牌等PII信息的处理声明。合规瑕疵可能导致整个训练Pipeline在法律层面不可用。

已经验证与覆盖的事实

  • 真机基准已锚定: OXE与DROID的480条/4小时数据经多方验证,可作为VLA模型泛化能力的可靠测试基准,格式统一且模态对齐。
  • 工业级多模态可用: AgiBot World 2026开源的3万条/250小时六模态数据支持LeRobot/HDF5双格式,可直接用于模仿学习与VLA训练。
  • 人类视频Scaling验证: Maxinsights 200万小时数据已获OpenAI等头部客户采购,GENE-26.5实测证明其对长程任务预训练有效。
  • 自动化清洗可复现: LA-33K-V展示了从DROID提取原子技能的完整Pipeline,含VLM生成、人工验证与多视角保留,方法论透明。

尚未证明或需警惕的工程边界

  • 百万轨迹≠百万小时: 智元申报书“百万原子动作”与开源“250小时”分母不同,不可直接换算或线性外推模型性能。
  • 人类视频缺力控反馈: Egocentric数据仅有运动学重建(4.24mm误差),无力觉/触觉信息,无法零样本迁移至物理交互任务。
  • 混合路线未证优胜: 真机/仿真/混合路线仅描述数据来源,材料明确“没有一家泛化远超同行”,不可据路线类型断言能力高低。
  • 单条成本不可算: 申报材料未提供工时单价与持续运维成本,任何“每条轨迹X元”的计算均属推测,缺乏财务依据。

上手卡 · 数据选型、格式兼容与复现避坑指南

  • 基准测试选OXE/DROID 验证VLA泛化能力时,优先使用核实的480条/4小时子集,确保RLDS格式正确加载,避免使用未清洗的全量数据引入噪声。
  • 多模态训练用AgiBot 需触觉/力觉反馈时,选用AGIBOT WORLD 2026的3万条数据;注意区分“原子动作”与“Episode”统计口径,按需加载模态以节省IO。
  • 人类视频仅作预训练 Egocentric数据适用于语义/运动先验学习,但必须搭配<1h真机微调;检查SLAM重建精度与手部追踪质量,勿直接用于底层控制。
  • 清洗Pipeline参考LA-33K-V 复用其时序线索+VLM生成+人工验证三段式流程;设置质量分阈值≥2/3,保留多视角RGB流,并在目标任务上验证切片边界准确性。

带走一句

具身数据Scaling Law的有效性取决于模态密度与物理对齐度,而非单纯规模;真机数据提供物理接地,人类视频提供语义先验,二者不可替代,唯有在明确工程边界下协同方能驱动泛化。

本站说明

  • 文中“480条/4小时”、“3万条/250小时”均来自站内数据集卡片核实字段;“百万原子动作”、“850TB”源自智元国家数据局申报案例原文表述。
  • Maxinsights“200万小时”、“ARR 1亿美元”等数据引自量子位2026-10-22报道,为媒体披露值,非审计财报;SLAM精度为厂商内部评测指标。
  • “比OXE长程数据高10倍”为智元申报书自述对比,未附联合评测报告;各数据集因任务定义、切片粒度与采集设备差异,规模数字不可直接线性比较。

来源

本页事实对应的公开页面,以原文为准。

  1. OpenVLA访问 2026-10-10
  2. AGIBOT WORLD访问 2026-10-10