新闻NVIDIA Technical Blog今天

NVIDIA Cosmos发布世界模型框架与NIM推理加速方案

NVIDIA推出Cosmos平台支持物理AI世界模型全生命周期开发，集成LoRA/SFT及DPO/GRPO/PPO等强化学习管线。Cosmos3-Nano可生成同步相机视频与LiDAR数据，NIM微服务在H200上实现2-3倍推理加速，FP8显存占用降至44GiB。

AI 整理

仿真与训练
具身模型
端侧部署

本文由 AI 根据公开内容整理，可能有误，请以原文为准：Build World Models for Interactive Simulation with NVIDIA Cosmos（NVIDIA Technical Blog：Agentic AI / Generative AI（via AIHOT））

核心内容

NVIDIA正式发布Cosmos世界基础模型平台，旨在解决物理AI开发中的传感器适配与可靠部署难题。该平台包含模块化的Cosmos Framework与加速推理的NIM微服务，支持Cosmos 3、GR00T、pi0.5等多模型生态。针对自动驾驶、机器人及手术场景，新发布的Cosmos3-Nano系列checkpoint已开放下载，开发者可利用内置Agent技能快速构建交互式仿真环境并生成多模态观测数据。

技术层面，Cosmos Framework提供完整的训练与后训练工具链，支持LoRA参数高效微调、全量SFT及DPO、GRPO、PPO等在线/离线强化学习策略，兼容JSONL、WebDataset及LeRobot数据格式。推理端通过NIM微服务实现量化、推测解码与KV-cache感知路由，在H200 GPU上获得2-3倍吞吐提升。资源消耗方面，Cosmos3-Nano生成任务在BF16精度下需58GiB显存，启用FP8量化与Offloading后降至44GiB，显著降低硬件门槛。

关键看点

RL管线全覆盖：原生支持DPO离线偏好优化、GRPO在线规则奖励及PPO Actor-Critic策略，涵盖具身智能仿真训练核心范式
多模态仿真生成：Cosmos3-Nano支持同步生成RGB视频与LiDAR点云，结合WSM地图控制与HD-map rangemap实现高保真场景复现
推理性能优化：NIM微服务集成量化与推测解码技术，在H200 GPU上实现2-3倍推理加速，FP8+Offloading显存仅需44GiB
模块化开发框架：兼容PyTorch、vLLM-Omni及TRT-LLM等后端，支持从数据加载到模型蒸馏的全流程Agent自动化编排

工程与产业观察

Cosmos将世界模型从研究概念转化为工程化基础设施，其核心价值在于打通了「多模态数据生成-RL策略训练-低延迟推理」的闭环。对于具身智能团队，Cosmos3-Nano提供的同步视觉-LiDAR生成能力可直接用于Sim2Real迁移验证，而NIM的显存优化使高分辨率世界模型在单卡H200/H100上的实时交互成为可能，大幅降低了物理AI仿真的算力与工程门槛。

线索来源：AIHOT