得益于持续的技术创新和丰富的算力支持,在数字孪生构建的虚拟世界中,数据量的增加和质量的提升为物理AI模型的训练和优化提供了良好的基础,物理AI模型已经成为人工智能商业化应用的新阵地,在自动驾驶、机器人、工业自动化等领域得到广泛的应用。
从智能语音助手到个性化推荐系统,从自动驾驶汽车到智能家居设备,如今AI的身影无处不在,那些看似科幻电影中的场景,已然成为我们生活的真实写照。“AI正以惊人的速度发展。”NVIDIA创始人兼首席执行官黄仁勋在2025 CES展上表示,
从理解图像、文字和声音的感知式AI,到创造文本、图像和声音的生成式AI,如今我们已经迈向了运行、推理、计划和行动的物理AI的时代。在本次NVIDIA新发布的Cosmos平台、GeForce RTX 50系列GPU等助力下,游戏、自动驾驶、机器人和代理式AI等领域将迎来跨越式发展。
NVIDIA创始人兼首席执行官黄仁勋
解锁AI具象化“密码”,NVIDIA Cosmos构筑物理模型开发新范式
得益于持续的技术创新和丰富的算力支持,在数字孪生构建的虚拟世界中,数据量的增加和质量的提升为物理AI模型的训练和优化提供了良好的基础,物理AI模型已经成为人工智能商业化应用的新阵地,在自动驾驶、机器人、工业自动化等领域得到广泛的应用。
但不可否认的是,物理AI模型的开发成本很高并且需要大量真实数据和测试。据报道,Waymo的数据中心配备了数千块高性能GPU,仅这些GPU的采购成本就高达数亿美元。此外,每辆用于测试的自动驾驶汽车都安装了多种传感器,包括激光雷达、摄像头、毫米波雷达等,一套传感器的成本就超过10万美元。
对此,NVIDIA在本次CES展上
推出了Cosmos开放模型套件,能够帮助开发者轻松生成大量基于物理学的逼真合成数据,以用于训练和评估其现有的模型。NVIDIA Cosmos平台由先进的生成式世界基础模型(WFM)、高级tokenizer、护栏和加速视频处理管线组成。其中,世界基础模型(WFM)专为物理AI的研发而构建,可以根据文本、图像和视频等输入组合以及机器人传感器或运动数据生成基于物理学的视频。这些模型为实现基于物理学的交互、物体恒存性以及生成高质量的仿真工业环境(例如仓库或工厂)和驾驶环境(包括各种路况)而构建。
在CES主题演讲中,黄仁勋展示了物理AI开发者如何使用Cosmos模型,包括用于:
●
视频搜索和理解:使开发者能够从视频数据中轻松找到特定的训练场景,例如雪天路况或仓库拥堵等。
●
基于物理学的逼真合成数据生成:使用Cosmos模型从NVIDIA Omniverse™平台上开发的可控3D场景中生成逼真视频。
●物理AI模型开发和评估:在基础模型上构建自定义模型,使用Cosmos进行强化学习以改进模型,或者测试模型在特定仿真场景中的表现。
●预测与“多元宇宙”模拟:使用CosmosOmniverse生成AI模型所有未来可能实现的结果,以便帮助其选择最佳和最准确的路径。
目前,众多行业先行者已开始利用NVIDIA Cosmos平台构建数字孪生的物理场景,并对这些场景训练模型,首批用户包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot,、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi和小鹏汽车等领先机器人和汽车公司以及共享出行巨头Uber。
在黄仁勋看来,机器人技术的ChatGPT时刻即将到来。与大语言模型一样,世界基础模型是推动机器人和自动驾驶汽车开发的基础,但并非所有开发者都拥有自主训练模型所需的专业知识和资源。
NVIDIA创建Cosmos是为了普及物理AI,让每一位开发者都能接触到通用机器人技术。
与Omniverse融合应用,为数字世界注入创新动能
数字孪生为物理AI模型提供了丰富、准确的实时数据来源。例如,通过物联网传感器收集的物理实体数据,不仅可以用于构建和更新数字孪生模型,也可以作为物理AI模型的训练数据,帮助模型学习物理系统的行为模式和规律。
而NVIDIA Omniverse是一个能够在虚拟环境中集成来自领先行业工具的3D数据平台。基于OpenUSD(Universal Scene Description,通用场景描述)通用、实时、可互操作的特点,NVIDIA Omniverse平台能够快速完成对工业资产、流程或环境的全面数字孪生,为用户创造一个实时、协作、共享的沉浸式数字世界。
NVIDIA Omniverse搭配全新Cosmos世界基础模型,组合成了一个合成数据倍增引擎,开发者能够使用该引擎轻松生成大量可控、逼真的合成数据。开发者还可以在Omniverse中创建3D场景并对输出的图像或视频进行渲染,然后将这些图像或视频可以与文本提示一起用于调整Cosmos模型,生成无数用于物理AI训练的合成虚拟环境。
例如进行物流路径模拟与规划时,Cosmos和Omniverse生成AI模型所有未来可能实现的结果,可以帮助其选择最佳和最准确的路径,让整个物流系统更加科学、智能和数字化。
通过Cosmos和Omniverse完成物流路径预测与优化
在本次CES主题演讲中,NVIDIA针对Omniverse还发布了另外四个新蓝图,使开发者能够更加轻松地构建基于通用场景描述(OpenUSD)的Omniverse物理AI数字孪生。这四个蓝图分别是:
●Mega:由Omniverse Sensor RTX API驱动,用于在部署到真实设施中前,先在工厂或仓库的数字孪生中大规模开发和测试机器人集群。
●自动驾驶汽车仿真:同样由Omniverse Sensor RTX API驱动,使自动驾驶汽车开发者能够播放驾驶数据、生成新的基准真实数据并执行闭环测试,从而加快开发流水线。
●Omniverse Apple Vision Pro空间流式传输:帮助开发者创建将大型工业数字孪生以沉浸式流的形式传输到Apple Vision Pro的应用。
●适用于计算机辅助工程(CAE)的实时数字孪生:基于NVIDIA CUDA-X™加速库、物理AI库和Omniverse库构建的实时物理可视化参考工作流。
目前,全球软件开发和专业服务领域的领先企业正在使用Omniverse开发新的产品和服务,加快工业AI新时代的到来。工业自动化领域的领先者西门子在CES展会上宣布推出了首个由NVIDIA Omniverse库驱动的西门子Xcelerator应用——Teamcenter Digital Reality Viewer。
此外,包括埃森哲、Altair、Ansys、Cadence、Foretellix、微软和Neural Concept等正在将Omniverse平台与自身软件产品和服务深度融合。例如Altair Omniverse蓝图构建交互式计算流体动力学(CFD)的实时CAE数字孪生。Ansys正在将Omniverse用于其领先的CAE应用Ansys Fluent中。Neural Concept正在将Omniverse库集成到其下一代软件产品,从而实现了实时CFD并改进了工程工作流。
可以看出,伴随着与Cosmos的推出,NVIDIA Omniverse平台的能力得到进一步提升,用户可以在数字世界中近乎逼真的通过模拟运行来优化流程、降低成本、加速设计迭代,为用户带来更多的想象空间和更精准的决策支持。
本文为e-works原创投稿文章,未经e-works书面许可,任何人不得复制、转载、摘编等任何方式进行使用。如已是e-works授权合作伙伴,应在授权范围内使用。e-works内容合作伙伴申请热线:editor@e-works.net.cn tel:027-87592219/20/21。