Nvidia·GET3D-我们通过两个潜在代码生成 3D SDF 和纹理场

在三维内容创作领域，从零开始建模始终是个耗时费力的过程。不过，NVIDIA最近推出的GET3D系统，或许正在改变这一局面。它不再依赖传统的多边形建模流程，而是通过一种更“智能”的方式——从潜在代码直接生成高质量、带纹理的三维模型。

Nvidia GET3D 是什么

简单来说，

是一个由NVIDIA开发的先进AI生成系统。它的核心能力，是从一段潜在代码中，同时生成三维的符号距离场和与之匹配的纹理场。你可以把它理解为一个高度智能的“三维打印机”，但“打印”的蓝图不是CAD文件，而是一段能够指导AI进行创造的编码指令。

这项技术的突破性在于，它将复杂的几何与纹理生成过程整合进了一个端到端的、可训练的框架里，为自动化三维内容创作打开了新的大门。

主要特点

GET3D之所以引人注目，离不开以下几个关键技术特点：

• 潜在代码驱动
  ：这是整个系统的“方向盘”。用户通过调整潜在代码，就能灵活控制生成模型的大致形态和风格，这比直接操作三维顶点要直观和高效得多。

• DMTet 技术加持
  ：系统内部采用了DMTet算法。这个算法的妙处在于，它能从一个连续的符号距离场中，精确地提取出清晰、可用的三角网格表面。这就好比从一团“数字黏土”中，精准地雕刻出光滑的模型外壳。

• 纹理场查询
  ：模型光有形状还不够。GET3D会同步生成一个纹理场，在提取出网格表面后，直接在表面的每个点上查询对应的颜色和材质信息，从而实现几何与纹理的完美贴合。

主要功能

基于上述特点，GET3D能够实现一系列强大的功能：

• 3D SDF 生成
  ：首先生成描述物体内外空间的符号距离场，这是所有后续三维结构的基础。

• 纹理映射
  ：为生成的几何体自动匹配上逼真的颜色和纹理，极大增强了模型的视觉真实感。

• 对抗训练优化
  ：系统在训练时使用了对抗性损失。简单理解，就是有一个“鉴别器”在不断试图区分AI生成的图像和真实图像，从而迫使生成模型不断进化，产出越来越以假乱真的结果。

使用流程示例

要理解GET3D是如何工作的，可以看看它典型的生成流程：

1. 定义蓝图
   ：首先，输入或定义一段潜在代码，作为生成3D SDF和纹理场的“指导手册”。

2. 提取形状
   ：利用DMTet技术，从生成的SDF中提取出具体的、可操作的三维表面网格。

3. 赋予色彩
   ：在提取出的网格表面点上，查询之前同步生成的纹理场，为模型“穿上”逼真的外衣。

4. 迭代优化
   ：通过可微分渲染器将模型渲染成2D图像，并结合对抗损失进行训练，不断优化生成结果的真实感。

5. 真假判别
   ：训练过程中，2D鉴别器会对生成的RGB图像和轮廓进行判断，区分其与真实图像的差异，从而提供反馈，驱动模型改进。

总结

总体来看，Nvidia GET3D代表了一种三维内容生成的新范式。它通过将潜在空间编码、先进的表面提取技术和对抗训练相结合，实现了从代码到高质量带纹理三维模型的端到端生成。这不仅为游戏开发、影视制作和数字孪生等领域提供了强大的工具，也预示着AI在理解并创造复杂三维世界方面，正迈出坚实的一步。