# Isaac Sim中OpenVLA控制Franka机械臂仅沿Z轴移动或随机乱动

> 原文链接：https://robotics.hellobike.com/pitfalls/2026-02-13-openvla-305
> 频道：pitfalls | 更新日期：2026-02-13 | 标签：auto, github-issue, openvla
> 核心摘要：OpenVLA在Isaac Sim中控制Franka时出现单轴运动或随机动作，建议通过手动注入固定位移验证控制器及坐标转换逻辑。

# Isaac Sim中OpenVLA控制Franka机械臂仅沿Z轴移动或随机乱动

::: v-pre
> 本文由 AI 根据公开内容整理，可能有误，请以原文为准：[Problem on Testing OpenVLA on Isaac sim](https://github.com/openvla/openvla/issues/305)（GitHub openvla/openvla #305）

**状态**：有绕过办法

## 问题

在Isaac Sim中测试OpenVLA模型控制Franka机械臂时，尽管环境搭建与图像输入正常，机器人仅沿Z轴向上移动而不执行预期动作；其他用户反馈集成后机械臂出现无意义随机运动。怀疑VLA输出到世界坐标系的位姿转换逻辑或底层控制器配置存在错误。

## 环境

Isaac Sim仿真环境，Franka机械臂，OpenVLA模型（bridge_orig权重），NVIDIA Isaac Lab框架，Python控制脚本。

## 解决办法

1. 检查调试打印信息，确认`current_ee_position`、`delta_position`及`target_position`数值是否符合预期，排查模型是否仅输出Z轴动作。
2. 手动将`delta_position`硬编码为固定值（如`[0, 0.01, 0]`）进行测试，若机器人能正确移动则证明控制器与IK求解器正常，问题位于VLA输出解析或坐标系转换环节。
3. 参考Isaac Lab官方仓库中Franka配合IK控制器的示例配置（`isaaclab_tasks/manager_based/manipulation/cabinet/cabinet_env_cfg.py`），核对仿真环境中的控制器参数设置。
4. 审查VLA相对动作到世界帧末端执行器位姿的转换代码，确保旋转矩阵乘法顺序及四元数格式（scalar-first/last）转换正确。

讨论原作者：@mayk007 等，版权归原作者所有。
:::

## 原始参考来源 (Sources)

- [GitHub openvla/openvla #305：Problem on Testing OpenVLA on Isaac sim](https://github.com/openvla/openvla/issues/305)