Skip to content

教程LeRobot 文档10 天前

多指灵巧手与双臂主从遥操作采数系统搭建指南:从动捕手套/VR到 LeRobot 数据集封装 ​

在训练端到端具身操作策略(如 ACT、Diffusion Policy、Pi0 等 VLA 模型)时,**高质量真实真机遥操作数据(Teleoperation Demonstrations)**是决定模型泛化上限的生命线。与单纯的两指夹爪相比,**多指仿生灵巧手(如 宇树 Dex3-1、因时 RH56DFX)**具有更高的动作维度(单手 6–20 自由度),在抓取不规则物体、开合拉链或装配柔性工件时必不可少,但同时也对主从时序对齐与重定向映射提出了严格要求。

本文手把手演示如何以 松灵 PiPER 双臂 或 宇树 G1 为从端本体,搭建一套基于 VR 头显/动捕手套的低延迟多指遥操作数据采集工作站,并将示教轨迹打包为标准 LeRobot 数据集格式。


硬件与通信拓扑架构 ​

一套完整的灵巧手双臂采数工作站包含三层拓扑:

[操作员主端]
  ├── Meta Quest 3 / Apple Vision Pro (手部骨骼追踪 60Hz) 或 动捕手套 (100Hz)
  └── 脚踏离合踏板 (Foot Pedal: 标记轨迹开始/成功/废弃)
        │ WebRTC / UDP (局域网低延迟传输)
        ▼
[上位机工作站 (Ubuntu 22.04 + ROS 2 Humble)]
  ├── 运动学逆解与手指重定向节点 (Retargeting Node: 100Hz)
  ├── 3× RGB-D 相机流 (头戴第三视角 + 双腕部近景, 30fps)
  └── 数据同步缓存队列 (ApproximateTimeSynchronizer, 容差 ±5ms)
        │ USB-CAN FD / 以太网总线 (100Hz~200Hz)
        ▼
[执行从端本体]
  ├── 双机械臂末端 (如 AgileX PiPER 双臂 / 6-DoF 机械臂)
  └── 多指灵巧手 (如因时 RH56DFX / 宇树 Dex3-1)

Step 1:安装依赖与开源遥操作库 ​

以开源遥操作工具包 xr-teleoperate 与 lerobot 为基础:

bash
# 创建并激活采数环境
conda create -n teleop_env python=3.10 -y
conda activate teleop_env

# 安装 LeRobot 及机器人硬件通信接口
pip install lerobot
pip install rerun-sdk opencv-python pyyaml transforms3d
pip install python-can

Step 2:手部关键点映射与关节重定向(Retargeting) ​

人类手部具有 21 个骨骼关节点(Joints),而五指灵巧手的主动驱动自由度通常为 6–12 DoF。为了将人手屈伸线性转化为机械手的电机角度,需建立指尖相对距离与指根横摆几何重定向:

python
import numpy as np

def retarget_human_hand_to_rh56(human_landmarks: np.ndarray) -> list[float]:
    """
    human_landmarks: 形状为 (21, 3) 的归一化 3D 骨骼坐标 (单位: 米)
    返回: 6 维从端灵巧手关节归一化角度 [0.0, 1.0] (拇指屈伸, 拇指旋转, 食, 中, 无名, 小指)
    """
    wrist = human_landmarks[0]
    
    # 提取各指尖到手腕的距离,与手掌完全张开基准值对比
    fingertip_indices = [4, 8, 12, 16, 20] # 拇指、食指、中指、无名指、小指
    raw_lengths = [np.linalg.norm(human_landmarks[idx] - wrist) for idx in fingertip_indices]
    
    # 设定校准的最大完全张开与完全闭合阈值 (需预先单人静止校准)
    OPEN_THRESH = [0.12, 0.16, 0.17, 0.16, 0.14]
    CLOSE_THRESH = [0.06, 0.08, 0.08, 0.07, 0.06]
    
    q_target = []
    for cur, op, cl in zip(raw_lengths, OPEN_THRESH, CLOSE_THRESH):
        # 1.0 表示完全握紧,0.0 表示完全张开
        clamped = np.clip((op - cur) / (op - cl + 1e-6), 0.0, 1.0)
        q_target.append(float(clamped))
        
    # 拇指横摆独立计算 (根据拇指与食指掌指关节夹角)
    thumb_sway = np.clip((human_landmarks[4][0] - human_landmarks[5][0]) / 0.05, 0.0, 1.0)
    
    # 组合为 6 维控制向量
    return [q_target[0], float(thumb_sway), q_target[1], q_target[2], q_target[3], q_target[4]]

Step 3:时间戳硬对齐与多源数据采集闭环 ​

遥操作采数最易导致策略失效的原因是**“相机帧与机械臂关节时钟漂移”**。必须采用严格的时间戳对齐机制:

python
import time
from dataclasses import dataclass

@dataclass
class TeleopFrame:
    timestamp_ns: int
    left_arm_q: list[float]      # 6 维
    right_arm_q: list[float]     # 6 维
    left_hand_q: list[float]     # 6 维灵巧手开合
    right_hand_q: list[float]    # 6 维灵巧手开合
    top_camera_rgb: np.ndarray   # 形状 (480, 640, 3)
    wrist_left_rgb: np.ndarray   # 形状 (480, 640, 3)
    wrist_right_rgb: np.ndarray  # 形状 (480, 640, 3)

# 采集循环:以机械臂 100Hz 状态为基准时钟,相机通过最新帧最近邻插值
def record_episode(max_duration_sec: float = 30.0) -> list[TeleopFrame]:
    frames = []
    start_time = time.time()
    while time.time() - start_time < max_duration_sec:
        ts = time.time_ns()
        # 读取下位机真实反馈状态
        # arm_state = arm_driver.get_joint_positions()
        # hand_state = hand_driver.get_positions()
        # top_img, w_l_img, w_r_img = camera_hub.get_synced_frames()
        
        # frames.append(TeleopFrame(...))
        time.sleep(0.01) # 100Hz 采样
    return frames

Step 4:打包导出为 LeRobot 官方格式 ​

采数结束后,利用 lerobot.datasets.lerobot_dataset.LeRobotDataset 封装为标准格式,直接兼容 LeRobot 训练脚本:

bash
# 使用 LeRobot 内置可视化工具核验示教轨迹平滑度与帧率对齐(本地数据集需指定 --root 与 --mode local)
lerobot-dataset-viz \
    --repo-id "local/piper_dexterous_hand_pick_and_place" \
    --root ./data/local/piper_dexterous_hand_pick_and_place \
    --mode local \
    --episode-index 0

避坑指南:灵巧手遥操作三大高发故障 ​

  1. 热保护降额导致指尖脱力:多指灵巧手微型电机尺寸小、散热受限。若长时间在夹紧状态下下发 100% 堵转电流,电机 3 分钟内便会触发 65°C 热保护停机。示教时必须在策略层配置自锁电流回退(夹紧后电流下降至 30% 保持力)。
  2. 手眼延时超 120ms 引发操作员晕动症:若使用无线串流,需锁定 Wi-Fi 6 5GHz 频段,并将视频编解码协议设为 H.265 硬解,确保 Glass-to-Glass 往返延时控制在 80ms 以内。
  3. 数据冗余与低质示教清理:在操作员出现犹疑、碰撞或多次重试的 Episode,需在脚本端使用脚踏板一键标记为 discard,切勿混入最终训练集。

关联选型与工具链 ​

基于本页技术方向关联的整机参数、核心零部件、实测报告与同赛道选型横评。

外部来源

本页事实对应的公开页面,以原文为准。(点击将离开本站)

  1. LeRobot 文档:Using Dataset Tools(lerobot-dataset-viz) ↗访问 2026-11-11
  2. Hugging Face LeRobot:State of the Art Machine Learning for Real-World Robotics ↗访问 2026-11-11