# 联合运动流形方法实现人手技能向机器人灵巧操作迁移

> 原文链接：https://robotics.hellobike.com/papers/2025-01-07-2501-04169-8d72691d
> 频道：papers | 更新日期：2025-01-07 | 标签：auto, arxiv, cs.RO, landmark
> 核心摘要：提出基于联合运动流形的数据驱动重定向方法，通过生成伪监督三元组映射人手、物体与机器人3D运动，解决具身差异。真机实验验证其在灵巧操作任务中显著优于传统运动学重定向技术。

# 联合运动流形方法实现人手技能向机器人灵巧操作迁移

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Learning to Transfer Human Hand Skills for Robot Manipulations](https://arxiv.org/abs/2501.04169)（arXiv 2501.04169）

## 核心内容

针对人手演示向机器人灵巧手迁移中的具身鸿沟问题，研究提出一种数据驱动的动作重定向新方法。不同于仅依赖运动学信息而忽略交互合理性的传统方案，该方法通过学习联合运动流形，直接在三维空间内建立人手动作、物体运动与机器人手部行为的映射关系，从而根据已知分量推断缺失的机器人操作轨迹。项目主页及代码已开源至 https://rureadyo.github.io/MocapRobot/。

核心技术在于构建伪监督三元组，将人手、物体与机器人运动轨迹进行合成配对训练，使模型能从人类演示中直接推理出符合物理约束的机器人动作。该方法摒弃了繁琐的解析式重定向优化，采用端到端学习策略处理异构手部结构差异。真机灵巧手操作实验表明，该数据驱动方法在动作合理性与任务成功率上均显著超越常规重定向算法，有效弥合了人机本体差异。

## 关键看点

- **联合运动流形**：在3D空间联合建模人手、物体与机器人运动，支持跨模态动作推断以解决具身差异
- **伪监督三元组**：合成配对人手-物体-机器人轨迹数据作为训练信号，无需真实机器人遥操作标注
- **数据驱动重定向**：直接从人类演示推理机器人动作，规避纯运动学方法导致的交互不合理问题
- **真机验证优势**：在灵巧手操作实验中性能显著优于传统重定向技术，证实方法有效性

## 工程与产业观察

该工作为具身智能模仿学习提供了新的数据工程范式，通过合成伪监督数据解决人机本体不对齐难题。对于缺乏大规模真实遥操作数据的团队，这种基于流形学习的重定向策略降低了灵巧操作数据采集门槛，对加速人形机器人手部技能泛化具有重要工程参考价值。

## 英文摘要 (Abstract)

We present a method for teaching dexterous manipulation tasks to robots from human hand motion demonstrations. Unlike existing approaches that solely rely on kinematics information without taking into account the plausibility of robot and object interaction, our method directly infers plausible robot manipulation actions from human motion demonstrations. To address the embodiment gap between the human hand and the robot system, our approach learns a joint motion manifold that maps human hand movements, robot hand actions, and object movements in 3D, enabling us to infer one motion component from others. Our key idea is the generation of pseudo-supervision triplets, which pair human, object, and robot motion trajectories synthetically. Through real-world experiments with robot hand manipulation, we demonstrate that our data-driven retargeting method significantly outperforms conventional retargeting techniques, effectively bridging the embodiment gap between human and robotic hands. Website at https://rureadyo.github.io/MocapRobot/.

作者：Sungjae Park, Seungho Lee, Mingi Choi, Jiye Lee, Jeonghwan Kim, Jisoo Kim, Hanbyul Joo
:::

## 原始参考来源 (Sources)

- [arXiv 2501.04169：Learning to Transfer Human Hand Skills for Robot Manipulations](https://arxiv.org/abs/2501.04169)