NVIDIA Cosmos 构建物理 AI 世界模型与交互式仿真

使用 NVIDIA Cosmos 构建用于交互式仿真的世界模型

2026年11月02日

从事 Physical AI 开发的开发者在使用世界模型时，面临两大核心挑战：一是将模型适配到自身的传感器、任务与数据中；二是将这些模型可靠地部署到实际应用中。

NVIDIA Cosmos 针对这两大挑战提供了完整解决方案。Cosmos 是一个面向 Physical AI 的世界基础模型与开发工具平台。Cosmos Framework 提供智能体技能与推理配方，涵盖世界模型训练、多模态数据处理、优化及推理全流程。Cosmos NIM 微服务则通过应用程序接口（API）支持基于 GPU 加速的模型服务化部署。

本文将依次介绍上述两方面内容。仿真部分将演示如何从已发布的检查点出发，利用 Cosmos Framework 的推理配方与智能体技能，为自动驾驶汽车（AV）、机器人及手术场景生成同步的摄像头视频与激光雷达（LiDAR）观测数据。部署部分将指导您如何根据显卡型号选择 NIM 配置、启动容器、验证服务就绪状态，并发送首次推理请求。

何时使用 Cosmos Framework 进行世界模型开发

Cosmos Framework 是一款开源且高度模块化的框架，专为世界模型训练、模型优化与推理设计，旨在借助新型智能体技能支撑完整的模型开发生命周期。该平台正逐步突破 Cosmos 3 的边界，新增对 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 及其他兼容 Hugging Face 模型的广泛支持。

模型训练

• 利用新增技能，加速文本、图像、视频、音频及动作数据的模型训练。
• 采用 LoRA 实现参数高效微调，或使用全监督微调（SFT）更新全部模型参数。
• 通过 JSONL、WebDataset、LeRobot 或自定义适配器加载数据，在多张 GPU 上并行训练，并保存检查点以支持断点续训。
• 将智能体指向后处理技能，以实现流程加速与自动化。

应用强化学习

该平台现已全面覆盖在线与离线强化学习路径。新支持的训练管线包括：

• DPO：离线偏好优化。
• GRPO：结合规则或模型奖励以及 vLLM 序列生成的在线强化学习。
• PPO：冻结参考策略与评论家网络的 Actor-Critic 强化学习，包含仿真环境中具身策略的强化学习应用。
• OPD：基于冻结教师模型的在线策略蒸馏。
• DiffusionNFT：面向扩散世界模型的在线强化学习。
• 可在共享 GPU 或独立计算池中运行序列生成、奖励评估与训练任务。
• 接入受支持的仿真器以收集交互经验。

模型优化与推理

• 通过知识蒸馏缩减模型体积或降低生成步数；对模型进行量化以减少显存占用。
• 可使用 Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM、TRT-Edge-LLM 或 NVIDIA NIM 运行兼容的检查点。
• 综合评估模型质量、精度与 GPU 资源利用率，最大化算力效能。

在 Cosmos Framework 中使用智能体

加载 .agents/skills 目录下的环境配置、推理、后处理与故障排查技能。为智能体分配一个边界清晰的任务：

提示：

基于指定内容进行后训练。锁定所有修订版本，验证数据集，并确保训练与评估流程相互独立。执行冒烟测试，保存配置，并在达到 GPU 小时数上限时停止。导出模型，并使用三个随机种子在预留测试数据上与基础模型进行对比评估。在支持的更低精度下重复评估过程，并记录生成质量、峰值显存占用及推理延迟。

应该使用哪种 Cosmos 仿真工作流？

Cosmos 框架提供了用于机器人仿真、高保真场景生成、多摄像头驾驶仿真以及手术策略评估的后训练与推理配方。全新的 Cosmos 3 Nano 仿真配方与示例检查点使开发者能够利用智能体可运行技能来评估我们的示例检查点，并将 Cosmos 3 Nano 适配至自定义传感器、动作空间及数据域。

这些检查点支持 PyTorch 与 vLLM-Omni，已在 NVIDIA Hopper 和 Blackwell GPU 上完成测试。请使用该配方选择 GPU 数量、内存配置及推理设置。

自动驾驶车辆仿真：

两款 AV 检查点均接收提示词与世界场景图（World Scenario Map, WSM）控制信号，后者用于定义车道、物体、道路标线、交通标志及道路边界。联合 RGB 与 LiDAR 生成还会额外使用高精地图测距图控制，并支持可选的初始 LiDAR 观测数据。提示词用于描述天气、光照、时间段及路况，前缀部分则提供相机云台与视场角的上下文信息。可选的初始相机图像可为生成的场景外观提供视觉引导。

Cosmos3-Nano-Transfer-Auto 采用双向生成技术，一次性对完整的多视角片段进行去噪，以用于离线合成数据生成。它支持 30 fps 的输入与输出视频，最高可在 480p 或 720p 分辨率下处理 400 帧；更长的序列可通过自回归分块方式生成。只需修改提示词，即可在保持相同道路布局与车辆轨迹的前提下，将白天驾驶场景转换为雨夜环境。利用这些变体，可以在不同天气与光照条件下训练并评估感知与驾驶模型。

完成框架配置后，请在仓库根目录下运行以下四 GPU 示例。对于 Transfer-Auto，请使用已发布的样本配置，其中包含七个同步的 WSM 视频、逐摄像头描述文本、首帧 RGB 条件输入以及高精地图 LiDAR 控制信号。有关具体配置、输入准备及输出细节，请参阅 Transfer-Auto 推理指南。

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
 --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"
AUTO_NEGATIVE_PROMPT="$(cat .agents/skills/cosmos3-nano-transfer-auto/inference/assets/negative-prompt.txt)"

torchrun --standalone --nproc-per-node=4 \
 -m cosmos_framework.scripts.inference \
 -i "$AUTO_SAMPLE_ROOT/input-transfer-auto.jsonl" \
 -o outputs/transfer_auto \
 --checkpoint-path checkpoints/Cosmos3-Nano-Transfer-Auto \
 --resolution 720 --num-steps 35 \
 --per-view-negative-prompt "$AUTO_NEGATIVE_PROMPT" \
 --cp-size 4 --cfgp-size 1 \
 --no-use-torch-compile --no-diffusion-cache

参考运行将生成 7 个 720p 视频（30 FPS，共 297 帧）以及 99 次 LiDAR 扫描。请检查 sample_outputs.json 确认运行成功，并查看 lidar.safetensors 中的有效距离与强度值，随后验证 WSM 对齐情况，以及各相机视角与 LiDAR 数据的一致性。

如需自定义场景与设备适配，请参阅 WSM 渲染器及 Transfer-Auto 后训练指南。如需进行点云转换与可视化，请参阅 LiDAR 可视化工具。

视频 1：使用 Cosmos3-Nano-Transfer-Auto 生成环视视频与 LiDAR 数据

Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果性、少步蒸馏变体，支持自回归流式生成。当自动驾驶策略或人工驾驶输入通过 WSM 渲染器更新场景时，该模型会增量生成观测数据。生成的相机与 LiDAR 观测结果会反馈至策略中，从而实现闭环评估。

对于 Sim-Auto，请使用已发布的 Sim-Auto 样本检查点与预渲染的 WSM 控制参数复现参考运行轨迹，以自回归方式生成同步的相机视频与 LiDAR 观测数据。详细的环境配置、输入设置与输出说明，请参阅 Sim-Auto 推理指南。

图 1：Cosmos 闭环仿真工作流

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Sim-Auto \
 --local-dir checkpoints/Cosmos3-Nano-Sim-Auto

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
 --include 'assets/sample_data/*' \
 --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"

torchrun --standalone --nproc-per-node=4 \
 -m cosmos_framework.scripts.inference \
 -i "$AUTO_SAMPLE_ROOT/input-sim-auto.jsonl" \
 -o outputs/sim_auto \
 --checkpoint-path checkpoints/Cosmos3-Nano-Sim-Auto \
 --cp-size 4 --cfgp-size 1 \
 --no-use-torch-compile --no-diffusion-cache

如需进行人工控制的轨迹回放，请参阅 Sim-Auto 交互式驾驶模块。

Sim-Auto 参考运行会将结果写入 outputs/sim_auto/daytime_scene/ 目录。请对 Transfer-Auto 采用上述相同的输出校验流程。

视频 2：使用 Cosmos3-Nano-Sim-Auto 生成多视角视频与 LiDAR 数据

机器人仿真

Cosmos3-Nano-Sim-Transfer 可将深度视频与提示词转换为 RGB 视频，在保持几何结构与运动一致的前提下，改变光照、纹理与背景。针对机器人演示任务，该模型可在保留动作、状态及腕部摄像头录像的同时，切换第三人称视角。

视频 3：利用语言提示词将深度图、分割图、边缘图或模糊视频转化为高细节 RGB 观测画面，同时仿真器维持物理状态不变。

Cosmos3-Nano-Sim-Bimanual 根据场景与机器人动作生成下一帧视觉观测。它支持针对 YAM 和 AgiBot 形态的交互式双臂仿真，可由策略算法或人工操纵杆控制。

在此语境下，Sim-Transfer 从物理仿真器的更新状态中生成画面；而 Sim-Bimanual 则直接基于场景与机器人动作生成下一帧观测结果。

手术仿真

由于涉及复杂的多物理场耦合，手术环境对传统仿真器而言极具挑战。生成式仿真提供了一种互补方案：世界基础模型无需显式建模场景几何、组织形变及物理交互，而是直接从同步的手术视频与机器人运动学数据中学习视觉动态。

Cosmos3-H-Embodied-Nano 基于 Cosmos3 构建，并在 Open-H-Embodiment 数据集上进行后训练，能够根据机器人动作生成手术视频、从视频中预测动作，或同时生成两者。该模型以初始 RGB 帧、任务提示词、最近执行的 16 个动作以及后续机器人动作为输入。开发者可利用它生成合成数据并离线评估策略，而无需为手术场景搭建物理模型。

Cosmos3-H-Dreams 允许开发者在手术流程推进时测试策略的响应情况，每一步操作都会影响后续发展。该因果型少步模型由 Cosmos3-H-Embodied-Nano 蒸馏而来，能够基于实时机器人运动学数据生成帧，实现由人工或学习策略控制的实时闭环仿真。这为开发者提供了一个交互式环境，使其能够在真机测试前探索手术操作手法并评估策略性能。

何时使用 Cosmos NIM 进行加速推理

除开源推理工具外，新版 Cosmos NIM 软件包将支持的模型封装于优化容器中以实现加速推理，大幅降低了 Cosmos 模型的部署门槛。

• 推理更快，内存占用更低：通过量化、推测解码、缓存、Token 剪枝及感知 KV Cache 的路由技术加速推理。在 H200 显卡上实测，推测解码平均可实现约 2 至 3 倍的加速效果。
• 自定义模型与实时视频理解：提供微调后的 Cosmos 检查点服务，并利用流式 VLM 推理处理实时视频流，实现毫秒级告警与延迟降低 10 倍的事件快速响应。
• 更简化的生产环境部署：支持自动配置选择，在兼容的 GPU 上经过性能与质量验证，提供授权许可支持，并按季度推送功能、优化与安全更新。

GPU 显存需求

表 1. 各模型在各任务下的 GPU 显存需求

如何启动 Cosmos NIM

请根据上方的表格选择 GPU 与模型配置，并参照部署指南在 Linux 系统上安装所需的 NVIDIA 驱动、Docker 及 NVIDIA Container Toolkit。登录 NGC API Keys 页面，选择“Generate Personal Key”，并开启 NGC Catalog 访问权限。在终端中将该密钥设置为环境变量 NGC_API_KEY：

export NGC_API_KEY='paste-your-key-here'

以下命令将在 GPU 0 上启动 Nano Generator。请确保已安装 curl 和 python3，并为镜像与模型缓存预留足够的磁盘空间。此处展示的缓存权限设置仅适用于本地开发环境。

: "${NGC_API_KEY:?Export your NGC API key first}"
printf '%s' "$NGC_API_KEY" | docker login nvcr.io \
 --username '$oauthtoken' --password-stdin

export NIM_IMAGE='nvcr.io/nim/nvidia/cosmos3:2.0.0'
export LOCAL_NIM_CACHE="$HOME/.cache/nim/cosmos3"
mkdir -p "$LOCAL_NIM_CACHE"
chmod a+rwX "$LOCAL_NIM_CACHE"

docker run -d --name cosmos3-generator \
 --gpus '"device=0"' \
 --shm-size 16g \
 --ulimit memlock=-1 \
 --ulimit stack=67108864 \
 --ulimit nofile=65536:65536 \
 -p 8000:8000 \
 -e NGC_API_KEY \
 -e NIM_MODEL_TYPE=generator \
 -e NIM_MODEL_VARIANT=nano \
 -e NIM_PERF_PROFILE=latency \
 -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
 "$NIM_IMAGE"

等待服务就绪（约需几分钟），随后检查所选模型与性能配置文件：

curl -fsS http://localhost:8000/v1/health/ready
curl -fsS http://localhost:8000/v1/metadata | python3 -m json.tool

如需查看启动进度，可在另一个终端中运行 docker logs -f cosmos3-generator。现在即可开始生成。

选择延迟优先或吞吐优先模式

• 延迟优先（默认）：优先缩短单个请求的处理时间。适用于交互式实验；支持的多 GPU 配置会在处理单个请求时协同使用所有 GPU。
• 吞吐优先：优先提升单位时间内的请求处理总量。适用于数据集生成或多用户并发场景；独立副本会并行处理请求。

请在容器启动时设置 NIM_PERF_PROFILE 参数。上述配置均针对 Generator 模块；若要发挥吞吐优势，需配合并发请求使用。延迟模式支持 1、2、4 或 8 张 GPU，而吞吐模式则需要 2、4 或 8 张兼容的 GPU。若仅在单 GPU 示例中将 NIM_PERF_PROFILE 改为吞吐模式，将导致配置文件选择失败。

快速上手

探索 Cosmos Framework，利用其智能体技能与参考配方，为您的应用训练、定制并优化模型。建议从匹配您任务的仿真检查点（checkpoint）入手，复现参考工作流，并根据您的传感器、动作与数据进行适配。

阅读完整技术报告。

欢迎参加 11 月 5 日（周四）的直播，了解如何使用 Cosmos Framework。

使用全新认证的 Cosmos NIM 部署推理与生成模型，可在 20 余款 NVIDIA GPU 上实现最佳性能。