NVIDIA 在 GDC 推出全新数字人技术和 RTX SDK

今年的游戏&开发者大会（GDC 2024）上，NVIDIA 甩出了几项硬核新技术，目标很明确：给游戏开发来一次彻底的效率革命。和 Inworld AI 这类前沿 AI 应用的开发者联手，NVIDIA 秀出了最新的数字人方案，以及一套更新的 RTX SDK。这些新东西不只是让高质量游戏世界的构建变得更顺手，更重要的是，它让生成式 AI 驱动的游戏角色能够更快落地。

数字人技术：游戏角色的“灵魂”升级

NVIDIA 这次拿出的数字人技术，走的是“全家桶”路线——你可以全盘接收，也可以只挑单个微服务集成到自己的产品里。具体来说，包括下面几块：

——通过 Audio2Face (A2F) 生成逼真面部动画，再配合 Riva 提供的自动语音识别 (ASR) 和文本转语音 (TTS)，数字人的真实感和互动性一下子拉满。

——一个端到端的框架，专门用来开发自定义生成式 AI。从数据管理、高级定制、检索增强生成到加速性能，NeMo 把企业级模型的开发门槛降了下来。

——包括 RTX 全局照明 (RTXGI) 和 DLSS 3.5 在内的渲染技术合集，为游戏和应用提供了实时路径追踪的能力。

这些技术在 Inworld AI 和 NVIDIA 合作的《秘密协议》演示里得到了实战检验。玩家扮演一位经验丰富的私家侦探，和 NPC 的交互方式完全不一样了——结合了 OpenAI 的 ChatGPT 3.5、ElevenLabs 的 TTS、Riva ASR 和 A2F 微服务，大大提升了 Inworld 在语言、语音和动画上的制作流程。Inworld 的 AI 引擎走的是多模态路线，把认知、感知和行为系统揉在一起，再借助 Unreal Engine 插件快速集成，用 MetaHumans 也变得简单高效。

AI 驱动的照明改进和渲染集成

除了数字人，NVIDIA 还推出了 RTX 全局照明 (RTXGI) 2.0 SDK，通过 AI 实现光线追踪的间接照明。这个更新进一步丰富了现有的神经渲染技术家族——DLSS 超分辨率、DLSS 3 帧生成、DLSS 光线重建、DLAA，一个都没落下。

最值得关注的是新算法——神经辐射缓存 (NRC)。它提供了一个 AI 驱动的方案，实时训练场景的辐射缓存，并且用反应式照明处理全动态场景。这意味着你不再需要提前为几何图形和材质烘焙静态照明，在高要求的场景里，性能和光照准确性都上了一个台阶。

为了更好的扩展性，NVIDIA 还推出了空间哈希辐射缓存 (SHaRC)。这个方案不用神经网络，就能提供和 NRC 类似的好处，而且兼容任何支持 DirectX 或 Vulkan 光线追踪的 GPU。它基于空间哈希数据结构构建，专为路径追踪的快速、可扩展全局照明而设计。

总的来说，NVIDIA 在 GDC 2024 上的这一波展示，不仅巩固了它在生成式 AI 和渲染技术上的领先地位，也为未来的游戏开发划了一条新的起跑线。随着这些技术逐步落地，我们可以期待更加沉浸、更互动的游戏世界。对于开发者来说，想要抢先体验 ACE，可以通过申请抢先体验计划开始，还能获取正在开发的 AI 模型。更多细节可以在 NVIDIA 的 API Catalog 里找到，直接在浏览器里体验或通过 API 端点评估这些微服务。至于需要端到端数字人解决方案的，NVIDIA 也提供了包括 Convai、Inworld、Data Monsters、Quantiphi 和 UneeQ 等中间件合作伙伴的支持。相关反馈和讨论，可以到 Digital Human 论坛去看看。