编者按：本文属于“进入Omniverse”系列文章的一部分。该系列聚焦开发者、3D从业者和企业如何利用OpenUSD与NVIDIA Omniverse的最新进展来改造工作流程。今年7月，NVIDIA与200多家公司和组织共同签署了《开放权重与美国AI领导力》公开信，该信主张AI领导力不应由任何单一前沿模型来衡量，而应取决于开放生态系统能否覆盖每一个行业领域。开放模型允许任何人下载、检查、修改并在自己的基础设施上运行，这正是实现上述目标的关键。这一点在物理AI领域尤为关键，因为每一次部署都是一个定制化问题。
物理AI不仅要理解表象，还必须理解和预测后果。为了实现这一点，世界模型需要学习物理环境的行为方式、接下来可能发生什么，以及哪些后续行动是合理的。它们可以生成基于物理规律的世界与行动数据，模拟未来状态，并为团队提供一个可以针对机器人、自动驾驶车辆或视觉AI系统进行定制的基础。开放世界模型已经被用于生成训练数据、测试策略以及定制物理AI系统。NVIDIA Cosmos 3将这些能力整合到一个开放模型家族中，在机器人、自动驾驶和视觉AI领域取得了领先的基准测试结果和应用。NVIDIA Omniverse库作为NVIDIA Agent Toolkit的一部分，提供了构建可仿真世界的预置能力，物理AI团队可以用这些能力在真实世界部署之前训练、测试和验证系统。
**世界模型是物理AI的基础**
物理AI所需的数据在大规模收集方面既困难又昂贵。罕见事件和长尾场景尤其难以安全、可重复地复现。世界模型能够实现：
- 通过从大规模多模态场景中学习物理关系，生成更有用的数据。 - 生成更多样化的环境，在天气、光照、物体和轨迹方面各不相同。 - 提供更好的基础，便于针对特定机器人、车辆、传感器配置、任务或运行环境进行构建和适配。
通用模型没有见过某个团队特定的机器人、传感器或运行环境。弥合这一差距需要开放模型权重、允许改写的许可证以及进行后训练所需的工具。NVIDIA Cosmos世界基础模型采用Linux基金会的OpenMDW 1.1许可证发布，使团队能够在自有数据和硬件上进行模型后训练。
定制化正是开放性成为实际技术要求的地方。定制一个模型只是工作流程的一部分。团队还需要用于生成数据、运行仿真和测试行为的环境。Omniverse库帮助开发者构建可仿真的环境，OpenUSD则提供了开放的框架，用于在数字孪生、仿真和合成数据生成工作流中组合、复用和交换复杂的3D数据。Omniverse与OpenUSD共同减少了每当资产、传感器配置或环境条件变化时可能累积的重复工作。
**Cosmos 3：前沿模型**
NVIDIA Cosmos 3是建立在混合Transformer架构上的前沿开放物理AI基础全能模型，它结合了视觉推理、世界生成和行动预测，让开发者可以用一个模型家族来理解场景、生成合成数据、模拟未来状态并构建定制化的世界行动模型。开发者可以将Cosmos 3用作视觉语言模型、预测未来世界状态并生成大规模合成数据的物理仿真器，或者作为世界行动模型的骨干，而不必为每种能力分别组装和维护独立模型。
该模型家族包括：
- Cosmos 3 Super（64B）：用于高保真世界建模。 - Cosmos 3 Nano（16B）：用于高效推理和后训练。 - Cosmos 3 Edge（4B）：用于端侧视觉推理和机器人策略部署。
Cosmos 3 Edge足够轻量，可以运行在边缘GPU上，并可部署在NVIDIA RTX GPU、NVIDIA DGX系统和NVIDIA Jetson（包括Jetson Thor平台）上。
在基准评估中，Cosmos 3在Artificial Analysis的开放权重文生图和图生视频生成中排名第一，在PAI-Bench的世界生成中排名第一，在Physics-IQ的图生视频类别中排名第一。在机器人策略方面，它在RoboLab上排名第一。Cosmos 3 Super在VANTAGE-Bench的视觉理解方面也是排名最高的开放模型。
除了Cosmos，NVIDIA的物理AI技术栈还包括用于机器人技术的Isaac GR00T、用于自动驾驶的Alpamayo和用于视觉AI的Metropolis。
**开发者如何将Cosmos 3投入应用**
在各行各业中，开发者正在基于NVIDIA Cosmos构建物理AI应用：
- 机器人领域：Doosan Robotics、LG Electronics、Samsung Electronics和Skild AI。 - 自动驾驶领域：Li Auto、Xiaomi和Afari。 - 视觉AI代理领域：Centific、Fogsphere、Linker Vision、Milestone Systems和Yuan，用于工业AI和智能空间应用。
NVIDIA Cosmos联盟进一步扩展了这项工作，汇集了世界模型构建者、AI开发者和物理AI领导者，共同贡献模型、研究和评估方法。NVIDIA最近将该联盟扩展到日本，当地机器人和制造业领导者计划加入，为工厂、物流、农业、建筑、医疗和交通领域开发开放世界模型。
这些实施与合作共同确立了开放世界模型作为物理AI的可适配基础，广泛应用于机器人、自动驾驶车辆和视觉AI系统。
**深入了解**
通过以下资源了解更多关于世界模型、OpenUSD和物理AI开发的信息：
- 在Hugging Face和GitHub上探索开放的Cosmos 3模型集合和数据集。 - 阅读Cosmos 3技术报告，了解完整的架构细节和评估。 - 阅读Cosmos 3技术博客。 - 收看Cosmos Labs直播。 - 了解NVIDIA Cosmos联盟。
**NVIDIA GTC柏林注册现已开放**
10月20-22日
立即注册
**近期新闻**
游戏领域：领先发行商将重磅PC游戏和技术带到NVIDIA RTX Spark
2026年8月25日