普林斯顿Infinigen矩阵开启！AI造物主100%创造大自然，逼真到炸裂｜CVPR 2023

本文由 新智元 撰写/授权提供，转载请注明原出处。

文章来源于：新智元

作者：桃子、拉燕

尼奥在「黑客帝国」中发现自己生活的世界并非真实存在，而是被精心设计的模拟现实。

而你，有没有那么一瞬间，认为我们生活的世界，就是模拟的矩阵世界。

而现在，矩阵正式开启。

静心感受，这个人类生存已久的地球，大自然的一切，都是虚幻世界。

北极冰川太阳升起。海底世界中的千奇百怪的鱼群、五彩斑斓的珊瑚礁。

高山飞雪，老鹰在浩瀚无垠的天空中翱翔。炽热沙漠，凶险的蛇自由穿梭。

河边小树，燃起熊熊烈火，烟雾缭绕。

清澈见底的大海和小溪，海龟在沙滩慵懒地晒着太阳，许多蜻蜓在空中嬉戏。

岩洞中光与影的变幻。

哗哗坠落的雨滴、随风飘落的枫叶，时间瞬间戛然而止。

你所见皆是人工智能设计的。它们的模拟是如此逼真，甚至被所有人误认为是现实本身。

打开这扇矩阵大门的团队来自普林斯顿，研究一出瞬间在网上瞬间引起轩然大波。

网友纷纷表示，原来我们生活在矩阵中！

论文中，研究人员引入了一个自然世界的逼真 3D 场景程序生成器「Infinigen」。

Infinigen 完全是程序化的，从形状到纹理，都是通过随机的数学规则从头开始生成。

甚至，还能变换无穷，覆盖了大自然界的植物、动物、地形，还有火、云、雨和雪等自然现象。

最新论文已被 CVPR 2023 接收。

论文地址：https://arxiv.org/pdf/2306.09310.pdf

Infinigen 建立在免费和开源的图形工具 Blender 上，同样 Infinigen 也是开源的。

值得一提的是，3.5 个小时就能生成一对 1080p 的图像！

普林斯顿大学提出的 Infinigen 可以轻松定制，生成各种特定任务的真实情况。

如下，模拟大自然界中的多样性。

而它最主要的作用就在于，能够作为作为无限训练数据的生成器，用于广泛的计算机视觉任务。

其中，包括 目标检测、语义分割、姿态估计、3D 重建、视图合成和视频生成。

此外，它还可以用于构建训练物理机器人，以及虚拟具身智能体的模拟环境。

当然了，3D 打印、游戏开发、虚拟现实、电影制作和一般的内容创作都可用。

接下来，看看 Infinigen 系统是如何被设计出来的。

Blender 的预演。

研究人员主要使用 Blender 开发程序化规则，Blender 是一个开源的三维建模软件，提供各种基元和实用工具。

Blender 将场景表现为摆放对象的层次结构。

而用户通过转换对象、添加基元和编辑网格来修改这一表示。

Blender 提供了大多数常见 3D 文件格式的导入/导出。

最后，Blender 中的所有操作都可以通过其 Python API 自动完成，或者通过检查其开源代码。

节点转译器。

作为Infinigen的一部分，研究人员开发了一套新的工具来加速研究人员的程序化建模。

一个值得注意的例子是研究人员的节点转换器，它可以自动将节点图转换为Python代码，如图所示。

由此产生的代码更加通用，并允许研究人员随机化图形结构，而不仅仅是输入参数。

这个工具使结点图更具表现力，并允许与其他直接用 Python 或 C++ 开发的程序化规则轻松整合。

它还允许非程序员通过制作节点图为 Infinigen 贡献 Python 代码。

生成器子系统。Infinigen 是由生成器组成的，生成器是概率程序，每个程序都专门用于生成一个子类的资产（如山或鱼）。

每个发生器都有一套高级参数（如山的整体高度），反映了用户可控制的外部自由度。

在默认情况下，研究人员根据为反映自然界而调整的分布对这些参数进行随机抽样，没有用户的输入。

然而，用户也可以使用研究人员的 Python API 覆盖任何参数，以实现对数据生成的细粒度控制。

下图是随机的、且仅包含地形的场景。研究人员为各种自然场景类型选择了 13 张图片。

分别为：山脉、上涨的河水、雪山、海岸日出、水下、北极冰山、沙漠、洞穴、峡谷和浮岛。

下图则是随机生成的模拟火焰的图片，包括烟雾、瀑布，以及火山喷发的场景。

树叶、鲜花、蘑菇、松果。

树木、仙人掌、灌木。

海洋生物。

各种类型的地表。

下图则是生物的生成。

研究人员自动生成了不同基因组（a）、身体部位（b）、身体部位拼接（c）、毛发（d）和体态（e）。

图片右侧则是研究人员展示的随机生成的食肉动物、食草动物、鸟类、甲虫和鱼类。

在下图中，研究人员按程序组成一个随机的场景布局（a）。

研究者生成所有必要的图片内容（b，用来显示每个网格面的颜色），并应用程序化材料和位移（c）。

最后再渲染一个真实的图像（d）。

下图展示的是动态分辨率缩放。

研究人员展示了三个相机距离不同，但内容相同的特写网格可视化视图。

尽管网格分辨率不同，但在最终的图像中看不到任何变化。

为了对 Infinigen 进行评估，研究人员制作了 30K 的图像对，这些图像有用于矫正立体匹配的地面实景。

研究人员在这些图像上开始训练 RAFTStereo，并在 Middlebury 验证集和测试集上对结果进行了比较。

这项研究代码在今天刚刚公布，已经收揽 99 颗星。

英伟达科学家 Jim Fan 表示，当我们在现实中没有好的训练数据时，模拟是便下一个「金矿」。

这里，Infinigen 便是一个开源的、程序化生成的、用于 3D 视觉的逼真数据集。其质量是惊人的！没有两个世界是相同的。

. 每一个小细节都是随机和可定制的，甚至是花瓣上的褶皱！

. 自然界的各种物体和场景：植物、动物、地形；火、云、雨和雪。

. 基准真实值自动注释：光流、三维场景流、深度、表面法向量、全景分割、封闭边界。

. 用 Blender 编写。

有网友表示，这真是让我大开眼界。在 Blender 中程序化生成 3D 世界。不使用 AI，就可以创建任何你能想象的世界。

结合像这样的工具来创造世界，像 Daz3D 这样的工具来创造角色，Blockade Labs 来创造天空盒，Convai 来创造 NPC。

还有人表示 Infinigen 将在人工智能计算机视觉研究中发挥作用。

他认为未来人工智能将 handle 所有一切。

比如，我们想在一个有雾的森林里面做一个有瀑布的村庄。

我们告诉一个人工智能写一个关于森林的详细描述，再发送到 3D 世界生成器。

世界生成后，就可以在村庄里添加人物角色。这些人将由人工智能控制，他们将有互动、对话和记忆。

一种西部世界的赶脚。

另外，有网友称程序生成已经存在了 20 年（我已经做了 15 年）。「No Man's SKy」是 5 年前技术的一个很好的例子。

Infinigen 的亮点在于它生成标记数据。这些数据可用于训练 AI。这就很疯狂。

还有网友畅想，在不远的将来，游戏会变得疯狂……「独立」游戏开发者将能够推出一些疯狂的高端内容。

Infinigen 生成太过逼真，以至于有人认为这是虚幻引擎生成的。

Alexander Raistrick

Alexander Raistrick 是普林斯顿大学计算机系的二年级博士生，导师是 Jia Deng。

Lahav Lipson

Lahav Lipson 是普林斯顿大学三年级博士生。

他研究重点是为三维视觉构建深度网络，利用关于极线几何的强大假设来实现更好的泛化和测试准确性。

Zeyu Ma

Zeyu Ma 是普林斯顿大学视觉与学习实验室的三年级博士研究生。他曾于 2020 年获得清华大学电子工程学士学位。目前的研究重点是多视图 3D 重建和程序数据生成。

参考资料：

https://infinigen.org/

https://twitter.com/DrJimFan/status/1670098819026128897

扫码关注公众号

获取更多技术资讯