RoboOmni 面向机器人操作中的主动协作场景，关注不依赖显式指令的意图推断。它提出 cross-modal contextual instructions 设置，让机器人从 spoken dialogue、environmental sounds 和 visual cues 中推断用户意图，并将意图识别、交互确认与动作执行统一到一个流程中。

其框架为 Perceiver-Thinker-Talker-Executor，基于端到端 omni-modal LLMs，融合视觉、语音和环境声音的时空信息，支持直接语音交互。为训练机器人操作中的主动意图识别，项目构建了 OmniAction，包含 140k episodes、5k+ speakers、2.4k event sounds、640 backgrounds 和六类 contextual instruction types。

实验覆盖仿真和真实世界设置，结果显示 RoboOmni 在 success rate、inference speed、intention recognition 和 proactive assistance 上超过 text- 和 ASR-based baselines。