论文arXiv 2611.1014812 天前
BATCH框架实现人机行为对齐,提升跨具身视频动作扩散模型泛化
本文由 AI 根据公开内容整理,可能有误,请以原文为准:BATCH: Behavior Alignment for Cross-Embodiment Learning from Humans(arXiv 2611.10148)
核心内容
针对人类演示数据因具身形态、视角及动作空间差异难以直接用于机器人学习的痛点,研究提出BATCH跨具身学习框架。该工作核心在于显式对齐人机行为,利用自监督循环一致性目标建立无需人工标注的跨具身时序对应关系,并在此基础上引入行为对齐协同训练与人机风格迁移两个互补训练目标,以增强自回归视频动作扩散模型的策略学习能力。
在技术实现上,BATCH将提取的时序对应关系嵌入视频动作扩散模型训练中,通过风格迁移目标进一步弥合人机运动学差异。真实世界操作任务评测显示,相比直接使用未对齐数据或现有跨具身基线,BATCH在面对未见过的任务配置时展现出更强的泛化性能,且风格迁移目标带来了额外增益,验证了显式行为对齐机制对于从人类演示高效迁移至机器人策略的关键作用。
关键看点
- 自监督时序对齐:采用循环一致性目标自动建立人机跨具身对应关系,免除昂贵的人工时序标注成本
- 双重训练目标:在视频动作扩散模型中集成行为对齐协同训练与人机风格迁移,强化策略对异构数据的利用
- 泛化性能验证:真实操作任务测试表明,显式对齐使模型在未见任务配置下的表现显著优于未对齐基线
- 跨具身数据复用:解决了人类视频演示因视角与动作空间差异无法直接驱动机器人策略学习的工程瓶颈
工程与产业观察
BATCH为具身智能提供了低成本利用海量人类视频数据的可行范式。其自监督时序对齐与风格迁移机制,有效缓解了机器人本体数据采集难的问题。对于算法工程师而言,该框架证明了在视频动作扩散模型中引入显式行为对齐约束,是提升Sim-to-Real及Human-to-Robot迁移效率的关键工程路径,值得在通用操作策略训练中借鉴。
英文摘要 (Abstract)
Human demonstrations provide a scalable source of diverse manipulation data, but leveraging them for robot learning remains challenging due to differences in embodiment, viewpoint, action spaces, and temporal structure. We introduce BATCH, a cross-embodiment learning framework that explicitly aligns human and robot behaviors. BATCH learns self-supervised temporal representations with a cycle-consistency objective to establish cross-embodiment correspondences without manual annotation. We further introduce two complementary training objectives that leverage these correspondences within an autoregressive videoaction diffusion model: behavior-aligned co-training and human-to-robot style transfer. On real-world manipulation tasks, BATCH improves generalization to unseen task configurations compared with training on unaligned data and prior cross-embodiment baselines, with additional gains from the style-transfer objective. Our results demonstrate that explicit behavior alignment enables more effective transfer from human demonstrations to robot policies.
作者:Zeyi Liu, Shuran Song
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)