RoboOmni 面向机器人操作中的主动意图推断，针对依赖显式指令的 VLA 方法，提出从语音对话、环境声音和视觉线索中获得跨模态上下文指令的设置。其目标是在没有直接命令时识别用户意图，并支持机器人进行主动协作。

模型采用 Perceiver-Thinker-Talker-Executor 框架，基于端到端 omni-modal LLM，将视觉、语音和环境声音统一到机器人动作执行流程中，覆盖意图识别、交互确认和动作执行。为训练主动意图识别，构建了 OmniAction，包含 140k episodes、5k+ speakers、2.4k event sounds、640 backgrounds 和 6 类上下文指令。实验在仿真和真实环境中进行，报告其在成功率、推理速度、意图识别和主动辅助方面超过 text- 和 ASR-based baselines。