教程LeRobot 文档10 天前
多指灵巧手与双臂主从遥操作采数系统搭建指南:从动捕手套/VR到 LeRobot 数据集封装
在训练端到端具身操作策略(如 ACT、Diffusion Policy、Pi0 等 VLA 模型)时,**高质量真实真机遥操作数据(Teleoperation Demonstrations)**是决定模型泛化上限的生命线。与单纯的两指夹爪相比,**多指仿生灵巧手(如 宇树 Dex3-1、因时 RH56DFX)**具有更高的动作维度(单手 6–20 自由度),在抓取不规则物体、开合拉链或装配柔性工件时必不可少,但同时也对主从时序对齐与重定向映射提出了严格要求。
本文手把手演示如何以 松灵 PiPER 双臂 或 宇树 G1 为从端本体,搭建一套基于 VR 头显/动捕手套的低延迟多指遥操作数据采集工作站,并将示教轨迹打包为标准 LeRobot 数据集格式。
硬件与通信拓扑架构
一套完整的灵巧手双臂采数工作站包含三层拓扑:
[操作员主端]
├── Meta Quest 3 / Apple Vision Pro (手部骨骼追踪 60Hz) 或 动捕手套 (100Hz)
└── 脚踏离合踏板 (Foot Pedal: 标记轨迹开始/成功/废弃)
│ WebRTC / UDP (局域网低延迟传输)
▼
[上位机工作站 (Ubuntu 22.04 + ROS 2 Humble)]
├── 运动学逆解与手指重定向节点 (Retargeting Node: 100Hz)
├── 3× RGB-D 相机流 (头戴第三视角 + 双腕部近景, 30fps)
└── 数据同步缓存队列 (ApproximateTimeSynchronizer, 容差 ±5ms)
│ USB-CAN FD / 以太网总线 (100Hz~200Hz)
▼
[执行从端本体]
├── 双机械臂末端 (如 AgileX PiPER 双臂 / 6-DoF 机械臂)
└── 多指灵巧手 (如因时 RH56DFX / 宇树 Dex3-1)Step 1:安装依赖与开源遥操作库
以开源遥操作工具包 xr-teleoperate 与 lerobot 为基础:
bash
# 创建并激活采数环境
conda create -n teleop_env python=3.10 -y
conda activate teleop_env
# 安装 LeRobot 及机器人硬件通信接口
pip install lerobot
pip install rerun-sdk opencv-python pyyaml transforms3d
pip install python-canStep 2:手部关键点映射与关节重定向(Retargeting)
人类手部具有 21 个骨骼关节点(Joints),而五指灵巧手的主动驱动自由度通常为 6–12 DoF。为了将人手屈伸线性转化为机械手的电机角度,需建立指尖相对距离与指根横摆几何重定向:
python
import numpy as np
def retarget_human_hand_to_rh56(human_landmarks: np.ndarray) -> list[float]:
"""
human_landmarks: 形状为 (21, 3) 的归一化 3D 骨骼坐标 (单位: 米)
返回: 6 维从端灵巧手关节归一化角度 [0.0, 1.0] (拇指屈伸, 拇指旋转, 食, 中, 无名, 小指)
"""
wrist = human_landmarks[0]
# 提取各指尖到手腕的距离,与手掌完全张开基准值对比
fingertip_indices = [4, 8, 12, 16, 20] # 拇指、食指、中指、无名指、小指
raw_lengths = [np.linalg.norm(human_landmarks[idx] - wrist) for idx in fingertip_indices]
# 设定校准的最大完全张开与完全闭合阈值 (需预先单人静止校准)
OPEN_THRESH = [0.12, 0.16, 0.17, 0.16, 0.14]
CLOSE_THRESH = [0.06, 0.08, 0.08, 0.07, 0.06]
q_target = []
for cur, op, cl in zip(raw_lengths, OPEN_THRESH, CLOSE_THRESH):
# 1.0 表示完全握紧,0.0 表示完全张开
clamped = np.clip((op - cur) / (op - cl + 1e-6), 0.0, 1.0)
q_target.append(float(clamped))
# 拇指横摆独立计算 (根据拇指与食指掌指关节夹角)
thumb_sway = np.clip((human_landmarks[4][0] - human_landmarks[5][0]) / 0.05, 0.0, 1.0)
# 组合为 6 维控制向量
return [q_target[0], float(thumb_sway), q_target[1], q_target[2], q_target[3], q_target[4]]Step 3:时间戳硬对齐与多源数据采集闭环
遥操作采数最易导致策略失效的原因是**“相机帧与机械臂关节时钟漂移”**。必须采用严格的时间戳对齐机制:
python
import time
from dataclasses import dataclass
@dataclass
class TeleopFrame:
timestamp_ns: int
left_arm_q: list[float] # 6 维
right_arm_q: list[float] # 6 维
left_hand_q: list[float] # 6 维灵巧手开合
right_hand_q: list[float] # 6 维灵巧手开合
top_camera_rgb: np.ndarray # 形状 (480, 640, 3)
wrist_left_rgb: np.ndarray # 形状 (480, 640, 3)
wrist_right_rgb: np.ndarray # 形状 (480, 640, 3)
# 采集循环:以机械臂 100Hz 状态为基准时钟,相机通过最新帧最近邻插值
def record_episode(max_duration_sec: float = 30.0) -> list[TeleopFrame]:
frames = []
start_time = time.time()
while time.time() - start_time < max_duration_sec:
ts = time.time_ns()
# 读取下位机真实反馈状态
# arm_state = arm_driver.get_joint_positions()
# hand_state = hand_driver.get_positions()
# top_img, w_l_img, w_r_img = camera_hub.get_synced_frames()
# frames.append(TeleopFrame(...))
time.sleep(0.01) # 100Hz 采样
return framesStep 4:打包导出为 LeRobot 官方格式
采数结束后,利用 lerobot.datasets.lerobot_dataset.LeRobotDataset 封装为标准格式,直接兼容 LeRobot 训练脚本:
bash
# 使用 LeRobot 内置可视化工具核验示教轨迹平滑度与帧率对齐(本地数据集需指定 --root 与 --mode local)
lerobot-dataset-viz \
--repo-id "local/piper_dexterous_hand_pick_and_place" \
--root ./data/local/piper_dexterous_hand_pick_and_place \
--mode local \
--episode-index 0避坑指南:灵巧手遥操作三大高发故障
- 热保护降额导致指尖脱力:多指灵巧手微型电机尺寸小、散热受限。若长时间在夹紧状态下下发 100% 堵转电流,电机 3 分钟内便会触发 65°C 热保护停机。示教时必须在策略层配置自锁电流回退(夹紧后电流下降至 30% 保持力)。
- 手眼延时超 120ms 引发操作员晕动症:若使用无线串流,需锁定 Wi-Fi 6 5GHz 频段,并将视频编解码协议设为 H.265 硬解,确保 Glass-to-Glass 往返延时控制在 80ms 以内。
- 数据冗余与低质示教清理:在操作员出现犹疑、碰撞或多次重试的 Episode,需在脚本端使用脚踏板一键标记为
discard,切勿混入最终训练集。
关联选型与工具链
外部来源
本页事实对应的公开页面,以原文为准。(点击将离开本站)