外观
新闻Robohub3 个月前
无物理引擎交互式世界模型：RTX4090实现15FPS长时稳定机器人策略训练
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Interactive world simulator for robot policy training and evaluation（Robohub）
核心内容
针对传统物理仿真建模难及Sim-to-Real差距问题，研究团队发布Interactive World Simulator。该方案摒弃显式物理引擎，采用动作条件视频预测范式，仅凭交互数据学习动力学。系统在单张RTX 4090显卡上实现15FPS实时交互，支持遥操作连续运行超10分钟且保持物理一致性，验证了纯视觉世界模型在T型推块、绳索穿引、马克杯抓取及堆垛清扫四类复杂操作任务中的有效性。
技术架构采用两阶段训练：先构建RGB图像压缩自编码器生成紧凑2D潜变量表示，再冻结编码器训练动作条件动力学模型。推理时在潜空间进行自回归预测并结合一致性模型，确保长时序稳定性。相比需手动建模摩擦与形变的经典仿真器，该方法无需物理先验即可精准区分绳索接触状态、捕捉杯柄微滑移等细粒度动态，并支持多视角一致生成，为低成本合成数据生成与可复现策略评估提供新范式。
关键看点
- 推理性能：单卡RTX 4090实现15FPS实时交互，支持连续遥操作超10分钟且画面稳定不漂移
- 技术架构：基于2D潜空间自回归预测与一致性模型，无需物理引擎即可从像素端学习动作条件动力学
- 任务泛化：零物理先验覆盖刚体接触、柔体形变及精细抓取，精准还原绳索穿引与杯柄微滑移细节
- 应用价值：解锁廉价合成数据生成与标准化策略评估，解决真实机器人数据采集慢及环境不可复现痛点
工程与产业观察
该工作验证了潜空间视频生成模型可作为高保真物理仿真的轻量替代，显著降低具身智能对昂贵真机数据的依赖。其15FPS实时交互能力使世界模型从离线评测走向在线训练闭环，为端到端策略学习提供了可扩展的合成数据基础设施，对缓解Sim-to-Real鸿沟具有重要工程参考价值。
来源
本页事实对应的公开页面，以原文为准。