Sora负责人揭秘技术探索之路：成功的研究者，往往没有经过传统的研究训练

2024年的风口：原生多模态模型如何改写AI格局？

2024年1月，OpenAI的Sora横空出世，让多模态这条赛道直接“炸”了。这不是一次简单的技术升级，而是将视频生成的时长从10秒一步到位拉到60秒，更重要的是，它预示着AI行业正从“卷”大语言模型，转向一个新的方向：通过原生的多模态模型，而不是简单的多模型拼接，来探索通往AGI（通用人工智能）的道路。

在2024年的智源大会上，智源研究院不仅拿出了能生成和理解视频的原生多模态模型Emu3，还邀请到了两位身处Sora风暴中心的关键人物：

一位是Aditya Ramesh，OpenAI多模态领域的领军人物，DALL·E图像生成模型的创造者，同时也是Sora团队的核心负责人。他在2024年的播客访谈中明确提出，像Sora这样的模型，不仅是视频生成工具，更是实现AGI的关键一步，因为它有能力模拟复杂的环境和动态的世界。

另一位是谢赛宁，纽约大学计算机科学助理教授。他和OpenAI Sora的另一位核心成员William Peebles（大家熟知的Bill）共同开创了将Transformer与扩散模型结合的思路，其研究成果DiT，正是Sora底层架构的基石。

在关于“生成模型如何进化”的圆桌讨论中，Aditya Ramesh 系统性地回顾了从DALL·E 1到Sora的视觉生成技术演进路径。

他总结了四个关键阶段：从最初的手动打标签阶段，到理解语言与图像之间的映射关系，再到从视觉信息中构建自然语言描述，最后发展到从自然语言出发构建视觉内容。至于下一步？他认为，自然语言将有能力去建构一切模态。

△Sora负责人Aditya Ramesh与谢赛宁对谈现场 图源：智源研究院

在与谢赛宁的深入交流中，两人探讨了多个核心议题：DiT架构对视觉建模的价值、通往AGI需要什么样的人才、视频生成模型的实际应用场景，以及训练这些模型的数据从何而来。其中有不少观点值得细品：

理论上，任何模态的模型都可以通过语言来训练。但随着模型参数规模的增长，模型对语言这一条件信息的依赖会逐渐降低，甚至开始自己摸索出解决问题的路径。

OpenAl的招聘逻辑很特别，它甚至把尚未获得正式学术成绩的在校学生纳入视野。很多做出出色成果的研究者并没有经过传统研究的科班培训。当然，还有一点至关重要：要给他们充足的GPU算力。

如果能够大幅提升可控性，并能灵活复用现有场景中的角色、资产等元素，视频生成模型极有可能成为用户界面交互的Game Changer。

现有的互联网数据已经支撑我们走到今天。继续扩大模型规模，一旦模型强大到足以成为独立的“世界模拟器”，我们就可以在这个模拟器内部进行交互、仿真等一系列操作。

对话实录：关于AGI、人才与数据

我在你的X账号上看到过一句有趣的话：“语言模型被高估了。”作为视觉研究出身的人，我非常喜欢这个说法。那么，你是真的认为视觉生成是通住AGI的关键道路吗？你怎么看待对人类语言的建模和对现实世界的建模之间的关系？

对此我深信不疑。任何一段视频里都包含了海量信息，而其中很大一部分是语言难以精确描述的。举个栗子，雷文渐进矩阵测试（一种视觉智商测试）所检验的智能类型，很难仅仅通过语言建模来习得。所以，语言无疑是高阶智能系统的重要组成部分，用于支撑推理。但最终，我觉得语言会被“消化”进视觉里，成为一种更通用的交互界面。

你提到语言可以作为实现智能的框架，因为它提供了大量的先验知识，正好可以弥补视觉表征的不足。那么，语言会不会只是一种“捷径”？

我的期望是，当你用高度描述性的文本来训练文生图模型时，它需要“学习”的程度反而没那么高。但在DALL·E 3上我们看到一个有趣的现象：即使用短文本训练的模型，其性能也会因为同时用描述性文本训练而提升。这意味着，语言或许可以用来训练生成模型，让它的训练过程更高效。但随着参数规模的增长，模型对语言这种条件信息的依赖会自然降低，并开始学会自行解决一些语言没告诉它的问题。

聊聊Sora背后的天才们吧。Bill（Sora负责人之一）博士最后一年和我一起研究DiT，Tim（Sora另一核心成员）在伯克利期间也一直在做长视频生成。他们刚拿到博士就能产生这么大的影响，太了不起了。OpenAI的团队文化是怎么支持这些年轻研究员发挥潜力的？

OpenAI的招聘策略确实很不一样。Tim和Bill固然在加入前就有亮眼的论文发表，但我们更关注那些潜力很高，但可能还没机会拿到正式学术成绩的人。像James Becker，DALL·E 3的负责人之一，还帮助把音频功能集成了进GPT-4o，就是个很好的例子。另外，我们非常专注于一个长期的、足够远大的研究目标，而不会每天被眼前的事件牵着走。最后，也是最实在的一点——确保每个人都能分到足够多的GPU算力。

△Sora负责人Aditya Ramesh与谢赛宁对谈现场 图源：智源研究院

我注意到，和OpenAI一样，很多非常成功的研究者其实并没有经历过所谓的传统研究培训。你觉得，博士学位是不是也被高估了？对想在AI领域发展的年轻一代，你有什么建议？

我们现在有Transformer这样的可扩展计算范式作为基础，也知道如何去表征数据，整个技术趋势正在趋同。这会改变你在学术界做研究的侧重点，比如可解释性会成为更有价值的方向。说实话，现在读博想做出最前沿的成果比过去难多了，因为需要的资源级别高了很多。

我知道你们有一个研究访问计划，为学术界的学生提供学分来参与LLM和多模态学习。我认为这种产学研的合作模式机会巨大。很多人对Sora都很兴奋，也喜欢你在社交网络上分享的视频。但问题是，我们还用不到它。最近你也看到了很多类似的产品，比如快手的Kling和Luma AI的Dream Machine。你怎么看视频生成领域的竞争？Sora最新有什么消息？

像Sora这么强大的系统，我们最优先考虑的是安全性以及它对社会的影响。必须小心确保发布时不会被用于虚假信息的生成和传播，同时模型的行为也要符合大家的预期。总的来说，有竞争是好事。看到其他实验室和公司也发布视频生成模型，我很高兴。大家都用不同的方法，这能激发更多创造力。回想DALL·E 2时期，Google Brain和OpenAI你追我赶地发论文，推动了扩散模型的发展，比如分类器指引、无分类器指引，这些都是良性竞争的结果。

最近我参加了一个纽约AI电影节。我问那些艺术家和电影导演一个很直接的问题：你真正需要的视频生成模型的核心能力是什么？答案惊人地一致：更好的可控性。我想知道，这是Sora下个版本会重点关注的吗？通过和艺术家合作，你学到了什么？语言会成为创意领域实现更好可控性的终极界面吗？

没错，更好的可控性和更低的随机性，是合作者们排第一的功能需求。能做到这一点，并能够复用之前场景里的角色、资产等元素，将是一个重大变革。光凭这一点，就能让视频生成模型在生产环境里真正派上大用场。有意思的是，DALL·E 1早期我们就看到了上下文学习能力的出现，现在这些能力也正在被投入生产。

最后是关于数据的问题。很多Sora用的数据来自互联网视频。为了通往AGI，现在的互联网数据就够了吗？还是说我们需要发掘新的数据源，甚至引入不同的感官媒介？

我觉得现有的数据已经够我们走很远很远了。通过继续扩大模型规模，我们还能取得巨大进展。一旦模型强大到足以成为一个独立的世界模拟器，很多有意思的事情就会发生——你就可以在视频生成模型内部进行交互、模拟等操作。这样一来，我们就能融合真实世界环境里各种多样且有趣的约束，从而学到更有趣的东西。

回顾技术路径：从DALL·E 1到世界模拟器

以下是Aditya Ramesh关于视频生成建模技术路径探索的详细分享。

很高兴能在这里发言。我是OpenAI视频生成的负责人。今天想聊聊我对过去几年生成模型如何演变的观察，以及我认为未来会走向何方。

先回到一个相当古老（至少在深度学习领域）的成果——2021年发布的DALL·E 1。它是一个大规模的自回归Transformer模型，在文本和量化图像上联合训练。我们做出这个决定，是因为看到了Transformer在建模语言上的初步潜力，想试试同样的技术能不能用在其他模态上。最终效果不错，模型能够理解文字，并将其转化为量化的图像补丁。

图源：智源大会直播截图

它的工作方式是：给定一个语言提示语，模型就像一个通用的语言模型一样对它进行建模。同时，我们为图像训练了一个VQ-VAE编码器，图像的嵌入会被语言的嵌入增强。有趣的是，我们看到DALL·E的扩展规律和今天语言模型一模一样。小规模的模型能画出光照、反射、重复物体，给小物体上色；规模稍大，就能绘制多属性物体、改变艺术风格；规模再上一个台阶，就出现了文本渲染和组合泛化的迹象。

图源：智源大会直播截图

我们甚至尝试让DALL·E去做了雷文渐进推理矩阵测试和图像到图像的转换（比如只看图片的上半部分，让它画出下半部分）。当模型参数规模达到十亿级别后，这些测试的结果开始变好。

这引出了一个关键问题：如果进一步扩大规模，会发生什么？

当时我有所怀疑：这是学习智能的好方法吗？毕竟你是在让模型压缩视觉世界里的所有像素，这任务难度极大。但Mark Chen之前训练iGPT的经验表明，仅仅通过高效压缩图像，模型就能学习到视觉世界的底层结构并获得良好表征。然而，这远不如同期发布的CLIP模型来得高效。CLIP的思路是学习文本-图像数据集之间的“共有信息”，最终比iGPT更高效地从图像中提取信息。当时我的结论是：DALL·E 1虽然有趣，但可能不是从视觉世界提取智能、通往AGI的关键路径。

我们来简单回顾一下CLIP如何提取“共有信息”。它包含一个图像编码器和一个文本编码器。训练时，模型拿到一组“图像-描述文本”数据对，分别编码，然后通过对比损失来优化，使两个编码器能将对应数据对的表征“对上号”。

图源：智源大会直播截图

CLIP的发布带来了范式转变——我们不再需要手动标注，而是可以利用互联网上的自由文本，来学习一个通用的分类器。从那时起，“图像表示学习”领域开始蓬勃发展。紧接着，像图像捕捉器这样的模型，也变成了可规模化的视觉学习器。

不过，与其用对比损失来建模共有信息，我们可以更进一步，训练一个具有图像编码器的感知模型，直接利用视觉信息来重建自然语言，就像做语言模型一样。

图源：智源大会直播截图

随着时间的推移，视觉建模似乎变得越来越简单。问题是：随着算力预算持续增加，图像表示学习的最终形态会是什么？iGPT告诉我们，大规模生成模型能自动学习数据底层结构。那么，这种规律在“文本-图像”模型上是否也存在？答案是肯定的。

最近一篇名为《你的扩散模型其实是零样本分类器》的论文就证明了这一点。它的核心是，即使是对给定文本描述的图像进行建模的扩散模型，也能被转换为一个分类模型。其原理是使用扩散模型来计算图像与文本匹配程度的分数，只是衡量相似度的函数更复杂。结果显示，稳定的扩散模型，确实能在ImageNet探针测试上获得不错的成绩。

这是个令人惊讶的发现。这意味着，我们可以从“以图像为条件预测标签”的训练范式，切换到“以文本为条件预测图像”的范式。在训练DALL·E 3时我们也发现，当训练用的文本描述性更强时，文生图模型的训练效率会更高。即便文本字很少，只要描述性够强，效果也一样好。这表明，强描述性文本可以作为训练更好的无条件模型的框架。

图源：智源大会直播截图

上图可以直观地理解：第一列图像加了不同程度的噪声，噪声代表建模图像中的不确定性。右边一列是对应的最简单文本描述（比如“颜色是什么”）。假设基于这些图像训练文生图模型，如果图像完全没有噪声（即信息完全确定），模型不用学，直接描述像素颜色即可。如果加了一点噪声（去掉了一些细节），模型就需要学习一点东西。如果加了大量噪声，图像有巨大不确定性，那模型就需要从海量可能性中寻找规律。

如果一个模型只是把像素值翻译成图像，它可能没学到什么实质性内容。但如果你有更多算力，可以训练一个将高度描述性图像和文本翻译成图像的模型。直觉上它可能也没学到太多，因为标题太详细了，图像里一点不确定性都没有。随着算力进一步提升，你可以期望模型用更短的文字去建模任何条件下图像的“全貌”。

我们认为，用高度描述性文本训练，有助于在小模型上补充视觉相关的先验知识。这意味着，我们可以从描述性文本训练过渡到短文本训练，且在小参数模型上，给它描述性字幕时，它依然能做好图像生成。而到了大参数模型时，它就能学会一些语言难以表达的知识，并开始填补那些“说不清”的空白部分。

换个角度看，我们可以从“给定图像训练文本模型”切换到“给定文本训练图像模型”，且不严重牺牲计算效率。如果你在描述性文本上扩大模型参数，无条件建模任务的性能也会随之提升。

图源：智源大会直播截图

纵观整个探索过程：最开始我们不怎么用文本，只预测少量信息来训练分类器；之后开始训练CLIP这类“图生文”模型，更多地使用文本；最终，通过高度描述性文本，我们训练出了像DALL·E 3和Sora这样的优秀生成模型。而随着我们继续扩展，语言或许会成为一个可以被“丢弃”的框架，视觉世界可能才是那个更通用的界面。

当我们遵循这个范式时，会发生什么呢？从最初的“从图像建模文本”，到现在的“从文本建模图像”。随着算力增加，语言的角色正在被“消化”进视觉里。在DALL·E 1上我们就看到了有趣的上下文学习能力——给它一张图的上半部分，它能画出下半部分，还能对上半部分做一些改变，这个模型从没被明确训练过这个任务，但在足够大的规模下，它就这么做到了。我们感觉这可能是通往各种视觉处理任务的通用界面的线索。

图源：智源大会直播截图

现在我们开始训练出可靠的视频生成模型。或许在未来，我们可以向模型展示一张图片，然后直接告诉它：“生成一段视频，达到我想要的效果。”

所以说，我的核心观察很简单：学习压缩一切，可能是通往通用智能的正确路径。而语言，只是一个让这件事变得实用的必要框架。理解这一点还不够，我们还需要更多技巧来重建目之所及的一切，从而高效训练视频模型。语言会帮助我们抵达那个节点，然后最终被视觉智能所消化。最终，这一切将为我们提供一个极其通用的界面，用来模拟我们想要的任何东西。