英伟达两个最新元宇宙布局

作者| Chenglin Pua（马来西亚）编审 | 于百程 排版 | 王纪珑琰

元宇宙就好像一片还没有被开发的“美洲”，吸引了许多企业来淘金。 当中最积极的莫过于Meta了。实际上除了Meta之外，英伟达也是不遗余力的布局元宇宙，希望成为元宇宙领域的基础设施供应商。在2022年8月的SIGGRAPH大会上，英伟达大秀肌肉，展示了他们的最新进展。例如新推出的Omniverse ACE以及希望能够将通用场景描述 （USD）作成为元宇宙的 HTML，让更多的元宇宙平台之间能够互动。

英伟达打造强大的云原生超级计算机

在2022年8月9日SIGGRAPH大会上，英伟达自家的元宇宙产品大放光彩，当中包括了云原生超级计算机（Omniverse ACE，Omniverse Avatar Cloud Engine）。云原生超级计算机融合了高性能计算的强大算力和云服务的安全性与易用性。云原生超级计算机在保障不牺牲应用性能的同时允许多用户安全共享。云原生超级计算机允许多用户共享一台超级计算机，同时保证每个用户的应用的安全性和私密性。再来则是云原生超级计算机使用DPU来处理存储、租户隔离安全和系统管理等任务。这样可以解放CPU，使其专注于处理任务，从而最大限度地提高系统的整体性能。

云原生超级计算机与传统超级计算机的差别

来源：英伟达官网

Omniverse ACE的运作方式来源：英伟达官网

Omniverse ACE建立在英伟达的统一计算框架之上，该框架提供了对丰富的软件工具和API的访问，从而利用高度逼真且可以进行互动的化身所需的各种技能。这些工具包括用于开发语音AI应用的Riva、用于计算机视觉和智能视频分析的Metropolis、用于高性能推荐系统的Merli、用于自然语言理解的大型语言模型的NeMo Megatron，以及用于AI动画的Omniverse。

自Omniverse发布以来，已经有近20万次下载量。而此次英伟达发布的Omniverse ACE更是将Omniverse推向另一个境界。Omniverse ACE的核心技术包括了物理加速引擎PhysX（如今支持粒子分布的模拟），大幅提升虚拟世界物理准确性、开源的材质定义语言（可以模拟物理上的精确材料，并支持图形API标准，如OpenGL或Vulkan）、结合RTX图形和AI的神经图形功能（例如迭代动物的形式与点云，然后自动生成一个3D 网格、可以可以生8K，360度全景图和从2D图像创建3D对象和场景）等。

Omniverse ACE的Audio2Face功能，不仅可以完全根据声音创建面部动画，而且还能随着时间的推移引导化身的情绪。也就是说，创作者可以轻松地融合关键情绪，如喜悦、惊奇、愤怒和悲伤。在未来版本的Audio2Face中，开发者可以只用一张照片创建化身，自动应用纹理并生成可用于动画的3D网格。Audio2Gesture能用能用音频文件生成逼真的身体姿势动作；Project Tokkio则能提供视觉、感知和智能对话能力，让虚拟形象提供建议、提高餐厅等场所的客户服务水平。

Vid2Vid Cameo功能则是可以利用人工智能从任何标准的2D视频中捕捉人物的面部动作和表情。此一神经网络功能进行了18万段视频的训练，学会了识别20个关键点来模拟面部运动ーー对眼睛、嘴巴、鼻子、眉毛等部位进行编码。

Omniverse ACE的扩展机器学习框架Modulus则是允许开发人员通过使用AI来加速现实世界物理模拟，让元宇宙看起来和感觉上都像物理世界。

英伟达表示，人工智能未来将帮助艺术家们创造出建造元宇宙所需的大量3D内容。例如，他们可以使用神经图形来快速捕捉物理世界中的对象和行为。

Omniverse ACE的模型和服务都在云端，因此企业不用担心算力问题，任何规模的企业都可以立即获得构建部署虚拟形象所需的大规模算力。这对游戏、聊天机器人、虚拟人、数字孪生和虚拟世界的大规模生产工作都会很有帮助。

英伟达副总裁Rev Lebaredian表示，Omniverse ACE结合了相当多复杂的人工智能技术，开发者不仅可以更容易地构建和定制栩栩如生的虚拟助手，而且这些数字人甚至还有可能通过图灵测试。此外，Rev Lebaredian也进一步确定了英伟达进军元宇宙的决心：元宇宙蕴含的商机价值数万亿美元，任何企业机构都不愿错过它。

新推出的Omniverse ACE基本覆盖了虚拟人所需的各种核心功能，如实现理解多种语言、响应语音提示、智能视频分析、高性能推荐系统、与环境互动并提供智能建议等等。这些工具使开发者足以解锁交互式虚拟人所需的大部分技能，并做到先进水平。只能说英伟达在布局元宇宙的道路上越走越远且越战越强。

Omniverse ACE生成的模型

英伟达希望USD 成为元宇宙的 HTML，让更多元宇宙平台可以互动

元宇宙是英伟达重点布局的领域之一。目前而言，英伟达正在推动通用场景描述协议 （USD，最初由皮克斯发明的协议） 作为虚拟世界中可互操作内容和体验的基础。

虽然元宇宙屡次被人们所提及。然而绝大多数此类平台本身就是孤岛，与其他虚拟空间、人或对象没有连接。想要打造一个真正意义上的元宇宙，至少需要具有一些互操作性元素，允许用户无缝地从一个虚拟空间移动到另一个虚拟空间，就像我们今天在网络上所做的那样。为此，英伟达正在推动通用场景描述 （USD） 作为“元宇宙的 HTML”。

就好比 HTML 形成对网页的描述（它可以托管在互联网的任何地方），并由 Web 浏览器在本地检索和呈现。USD 是一种用于描述复杂虚拟场景的协议，可以根据本地硬件能力在不同程度上进行检索和渲染。英伟达建议使用USD 浏览器之类的东西来定义虚拟空间的常用方法，任何人都可以轻松破译和渲染。英伟达表示，创建元宇宙所需的最基本标准是对虚拟世界的描述。英伟达相信该标准的第一个版本已经存在，它就是USD，一个开放且可扩展的生态系统，用于在 3D 世界中描述、组合、模拟和协作。USD 包括扩展到大型数据集所需的功能，例如延迟加载和有效检索时间采样数据。它具有极大的可扩展性，允许用户自定义数据模式、输入和输出格式，以及查找资产的方法。USD在视觉特效和动画、工业、设计和科学应用等方面都呈现出快速增长的势头。媒体、游戏、机器人、工业自动化、零售和百货行业的创新者已经开始将USD作为他们首选的元宇宙语言。

USD最初由皮克斯创造（2015年开源的协议），目的是简化复杂 3D 动画项目的协作。USD 不仅仅是 3D 几何图形的文件格式，可以描述具有各种对象、纹理和照明的复杂场景，还可以包括对其他地方托管的资产的引用、属性继承和分层功能，允许对单个场景进行非破坏性编辑，并有效地重用资产。

虽然英伟达认为USD是元宇宙平台的正确起点，但USD还需要进一步发展、完善才能够完全满足元宇宙的需求。目前英伟达也透露了一些与皮克斯合作的地方来帮助USD完善。例如英伟达正在开发一种以 USD 为单位的地理空间模式以支持地理空间坐标的 WGS84 标准（该标准未来将会运用到英伟达打造的数字孪生模型当中）。除此之外，英伟达正在与皮克斯合作，为 USD 添加对 UTF-8 标识符的支持，从而允许完全交换来自世界各地的内容。而为了进一步加快 USD 的开发和采用，英伟达正在构建一个用于 USD 兼容性测试和认证的开源套件。开发人员将能够测试他们的 USD 构建，并证明他们的自定义 USD 组件产生了预期的结果。英伟达还宣布投资构建能够将流行的3D软件生态系统连接到Omniverse的USD插件。

认为USD是元宇宙未来基础的不是只英伟达一家公司。在新成立的元宇宙标准论坛上，此想法得到了几千家公司的支持（英伟达也是该论坛的成员，其他成员包括皮克斯、Adobe、Autodesk、西门子等）。该论坛还指出 USD 是可互操作虚拟空间和体验的基础。

西门子数字工业首席技术官Dirk Didascalou表示，西门子将计划与英伟达合作开发下一代USD格式。此外，西门子也将会在旗下的Xcelerator平台（一个主要实现工业元宇宙的平台）上支持USD。沃尔沃汽车高级可视化专家Mattias Wikenmalm 也表达了USD具有巨大发展前景，沃尔沃在第一时间了解到开放、可扩展、可互操作的3D场景描述对元宇宙项目的价值。通过保持统一的资产来源并实现它们在不同虚拟世界之间的交换，沃尔沃将打造出真正无缝的3D互联网消费者应用。