新闻

加速物理AI融合应用,NVIDIA在SIGGRAPH 2025的创新宣言

2025-08-14e-works王聪

504阅
基于自身在GPU数据处理、CUDA运算、实时光线追踪RTX等技术创新,以及长期深耕的可视化、人工智能、仿真生态系统实践,NVIDIA正在持续不断的推动物理AI应用进程
       科技日新月异的当下,AI技术正以空前的速度重塑各行各业的格局。依托持续的技术突破与丰富的算力支撑,AI的演进路径愈发清晰:从理解图像、文字与声音的感知式AI;到可创造文本、图像与声音的生成式AI;以及感知、交互、记忆、工具调用的Agentic AI,如今我们已迈入能运行、会推理、可计划、善行动的物理AI时代。凭借对物理世界规律与智能算法的深度融合,AI正为工业制造、城市治理等领域注入全新动能。

NVIDIA与合作伙伴将物理AI融入城市和工业基础设施(来源 NVIDIA)
图 NVIDIA与合作伙伴将物理AI融入城市和工业基础设施(来源 NVIDIA)

Cosmos Reason突破物理世界边界

       基于自身在GPU数据处理、CUDA运算、实时光线追踪RTX等技术创新,以及长期深耕的可视化、人工智能、仿真生态系统实践,NVIDIA正在持续不断的推动物理AI应用进程:

       ● 2001年,推出首款可编程着色器GPU(NV20),突破传统图形渲染限制;

       ● 2012年,ALEXNET借助NVIDIA GPU实现高效训练,成为深度学习的“出圈”里程碑事件;

       ● 2016年,发布DGX-1深度学习超级计算机,打造专属AI训练底座,加速算法迭代;

       ● 2018年,RTX技术(含光线追踪与DLSS)登场,首次将AI嵌入图形渲染,实现“图形+AI”的融合突破。

       在GTC 2025大会上,NVIDIA对全Cosmos世界基础模型(WFM)进行了重大更新,使该模型引入了开放式、可完全定制的物理AI开发推理模型,让开发者以前所未有的方式控制世界生成。

       实际上,自OpenAI的CLIP模型推出以来,视觉语言模型(VLM)改变了物体和模式识别等计算机视觉任务。但是,它们尚未能够解决多步骤任务,也无法处理模糊或新颖的体验。NVIDIA Cosmos Reason作为一款面向物理AI和机器人开发的全新开源、可定制的70 亿参数推理 VLM,可让机器人和视觉 AI 智能体像人类一样推理,利用先验知识、物理理解和常识,理解现实世界并付诸行动。

       Cosmos Reason可用于机器人开发和物理AI应用,包括:

       1.数据管理与注释,帮助开发者自动对海量、多样化的训练数据集进行高质量管理与注释。

       2.机器人规划和推理,在机器人视觉语言行为(VLA)模型中,充当有意识、有条理决策的大脑。Cosmos Reason让机器人能够解读环境,并在收到复杂指令时,将其分解为任务,并运用常识执行这些任务,即使是在不熟悉的环境中。

       3.视频分析AI智能体基于可用于视频搜索和总结的NVIDIA Blueprint构建,能够从海量视频数据中提取有价值的洞察并进行根本原因分析。

       目前,Magna正在其城市配送平台(City Delivery platform)中使用 Cosmos Reason 进行开发。该平台是一种完全自主、低成本的即时配送解决方案,旨在帮助车辆更快地适应新城市。Cosmos Reason为车辆的长期轨迹规划器增加了对世界的理解能力。VAST Data、Milestone Systems和Linker Vision正在采用Cosmos Reason实现城市和工业环境的自动化交通监控,提高安全性,并提升视觉检查能力。

全新NVIDIA Omniverse库加速物理世界创新 

       基于OpenUSD(Universal Scene Description,通用场景描述)通用、实时、可互操作的特点,NVIDIA Omniverse平台能够快速完成对工业资产、流程或环境的全面数字孪生,为用户创造一个实时、协作、共享的沉浸式数字世界。在这个环境中,团队成员之间的各种研发工具和数字创作平台被无缝打通,设计概念可以更快、更直观的分享,进而推动未来创新。

       从Omniverse平台发布之日起,NVIDIA就在持续优化并拓展API接口能力,包括加速地理空间数据模型、度量组件、SimReady、OpenUSD标准等。本次推出了全新的NVIDIA Omniverse软件开发套件(SDK)和库,可用于构建和部署工业AI和机器人开发仿真应用。

       ● 全新Omniverse SDK推出了MuJoCo(MJCF)与通用场景描述(OpenUSD)之间的数据互操作性,帮助超过250,000名MJCF机器人学习开发者无缝地模拟各平台的机器人。

       ● 全新Omniverse NuRec库和AI模型引入了Omniverse RTX光线追踪3D Gaussian Splatting(3DGS)技术,这种渲染技术可帮助开发者利用传感器数据,在3D中截取、重建和模拟现实世界。

       ● NVIDIA Isaac Sim 5.0和 NVIDIA Isaac Lab 2.2开源机器人仿真和学习框架现已在GitHub上提供。Isaac Sim现在包括NuRec神经渲染和基于OpenUSD的全新机器人及传感器模式,帮助机器人开发者缩小仿真与现实之间的差距。

       Omniverse NuRec渲染现已集成到超过15万名开发者使用的领先开源模拟器CARLA中。 智能汽车(AV)工具链领先者Foretellix正在集成NuRec, NVIDIA Omniverse Sensor RTX和Cosmos Transfer,以增强其可扩展的合成数据生成能力,提供物理精准的场景。 Voxel51的视觉和多模态AI数据引擎FiftyOne支持NuRec,帮助简化重建的数据准备工作。 FiftyOne的客户包括福特和保时捷等。

       Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel和Skild AI正在采用Omniverse库、Isaac Sim和Isaac Lab,加速其AI机器人开发。Amazon Devices & Services正在使用它们来支持新的制造解决方案。

全新NVIDIA AI基础设施支持机器人全流程开发

       为了帮助开发者充分利用这些先进技术和软件库,NVIDIA宣布推出专为极高要求工作负载而设计的AI基础设施。

       NVIDIA RTX PRO Blackwell服务器为训练、合成数据生成、机器人学习和仿真等所有机器人开发工作负载提供统一架构。

       NVIDIA DGX Cloud现已在Microsoft Azure Marketplace上提供,为Omniverse开发者提供一个完全托管的平台,简化从云端大规模流式传输基于OpenUSD和NVIDIA RTX的应用,从而最大限度地减少基础设施编排和管理。Accenture和Hexagon是首批采用该平台的行业领先者。

       值得一提的是,为了帮助机器人开发者和物理AI开发者推动3D和仿真技术的采用,NVIDIA还宣布了OpenUSD课程和认证,满足对通用场景描述专业知识的需求,由OpenUSD 联盟成员Adobe、Amazon Robotics、Ansys(Synopsys旗下)、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和Trimble以及Hexagon等行业领先者的支持。此外,通过与Lightwheel的开源协作,已将机器人策略训练和评估框架集成到NVIDIA Isaac Lab中,具备并行强化学习训练功能,以及机器人操作和运动的基准测试和仿真就绪资产。
责任编辑:邓珊珊
读者评论 (0)
请您登录/注册后再评论