外观
踩坑GitHub unitreerobotics/unifolm-vla3 个月前
UnifoLM-VLA G1仿真动作异常：23D语义空间与Isaac Lab关节控制映射缺失
G1在Isaac Lab中堆叠动作异常，因VLA输出23D任务空间目标而非关节指令。需解析23维语义结构并经IK解码及夹爪顺序转换后接入仿真。
宇树 G1本文由 AI 根据公开内容整理，可能有误，请以原文为准：Clarification needed: 23D G1 stack-block action semantics and Isaac Lab joint-space mapping（GitHub unitreerobotics/unifolm-vla #18）
状态：有绕过办法
问题
在Isaac Lab中部署UnifoLM-VLA G1堆叠策略时，机器人运动反直觉且无法完成堆叠。原因是Isaac Lab任务配置为JointPositionActionCfg关节空间控制，而VLA输出的23D动作是高层语义表示（包含双臂末端位姿、夹爪及腰部姿态），两者间缺乏正确的映射与IK解码层，导致直接输入引发异常行为。
环境
Unitree G1 (g129)，NVIDIA Isaac Sim / Isaac Lab，unitreerobotics/unifolm-vla，unitreerobotics/unitree_sim_isaaclab，任务Isaac-Stack-RgyBlock-G129-。
解决办法
- 解析VLA输出的(25, 23)动作张量，明确23维语义定义：0:3左手xyz，3:9左手6D旋转，9:12右手xyz，12:18右手6D旋转，18右夹爪，19左夹爪，20-22腰部RPY。
- 执行夹爪索引重映射，将VLA的slot18(右)/slot19(左)转换为unitree16格式的slot14(左)/slot15(右)。
- 实现IK解码器，将23D任务空间目标（含双臂9D pose与腰部3D姿态）转换为unitree16关节空间指令（0:14双臂关节+14:15夹爪）。
- 将解码后的unitree16 chunk通过continuous publisher写入DDS或Isaac Lab关节控制接口，禁止将原始23D向量直接作为JointPositionAction输入。
讨论原作者：@ArianaGarTe 等，版权归原作者所有。
来源
本页事实对应的公开页面，以原文为准。