# RoboOmni

> 权威词条地址：https://robotics.hellobike.com/models/openmoss-team-roboomni
> 所属分类：models | 最近核验日期：2025-10-30 | 技术层级：L7

## 核心摘要

OpenMOSS-Team 在 Hugging Face 发布的机器人模型，架构为 Qwen2_5OmniThinkerForConditionalGeneration，参数规模 4.7B，训练数据包含 fnlp/OmniAction。

## 结构化工程参数

| 参数项 | 数值 / 配置 |
| :--- | :--- |
| `layers` | ["L7"] |
| `links` | [{"title": "Hugging Face", "url": "https://huggingface.co/OpenMOSS-Team/RoboOmni"}] |
| `updated` | 2025-10-30 |
| `family` | other |
| `params` | 4.7B |
| `architecture` | Qwen2_5OmniThinkerForConditionalGeneration |
| `action_representation` | 连续关节位置/末端位姿动作空间 |
| `code_license` | cc-by-nc-4.0 |
| `weights_license` | cc-by-nc-4.0 |
| `data_formats` | ["SafeTensors"] |
| `pretraining_data` | ["fnlp/OmniAction"] |
| `status` | research |
| `hub_id` | OpenMOSS-Team/RoboOmni |
| `hub_stats` | {"downloads": 56, "likes": 16, "as_of": "2026-10-21"} |
| `overview_sources` | ["https://huggingface.co/OpenMOSS-Team/RoboOmni"] |

## 技术详解与生态说明

RoboOmni 面向机器人操作中的主动协作场景，关注不依赖显式指令的意图推断。它提出 cross-modal contextual instructions 设置，让机器人从 spoken dialogue、environmental sounds 和 visual cues 中推断用户意图，并将意图识别、交互确认与动作执行统一到一个流程中。

其框架为 Perceiver-Thinker-Talker-Executor，基于端到端 omni-modal LLMs，融合视觉、语音和环境声音的时空信息，支持直接语音交互。为训练机器人操作中的主动意图识别，项目构建了 OmniAction，包含 140k episodes、5k+ speakers、2.4k event sounds、640 backgrounds 和六类 contextual instruction types。

实验覆盖仿真和真实世界设置，结果显示 RoboOmni 在 success rate、inference speed、intention recognition 和 proactive assistance 上超过 text- 和 ASR-based baselines。

## 原始核验来源 (Sources)

- [Hugging Face OpenMOSS-Team/RoboOmni](https://huggingface.co/OpenMOSS-Team/RoboOmni)