Sora遭遇强敌，造梦机器爆红：实测效果让人意外
01 一发布就火，「造梦机器」烧遍社交网络
6月12日，初创公司Luma AI放出了新作品——AI视频生成模型Dream Machine（造梦机器），并且直接面向公众开放测试。结果呢？官方放出的样片只是一方面，社交网络上瞬间被用户自己用“造梦机器”生成的视频刷了屏。
比如那段现代风格的样片，少女和猫的呈现效果水准相当高，尤其是猫的头部和眼部动作，看着就很自然。
图片经过压缩，图/ Luma AI
还有奇幻风格的，生成的人物或物体也确实够奇幻，甚至有点克苏鲁的味道。
图片经过压缩、剪辑，图/ Luma AI
更吸引人的是，“造梦机器”不仅支持文本生成视频，还支持基于图片和文本生成视频。所以你不仅能看到《戴珍珠耳环的少女》里直接跳出来的少女，还能看到房地产中介可能会爱不释手的“如何让景观图变成景观视频”。甚至有人已经开始用“造梦机器”去创造一个讲述“一日生活”的影像故事，从美国中学生早起、上学到舞会，全程刻画得有模有样。
用户玩得嗨，海内外的媒体自然也没闲着。不过有一说一，有些国内媒体确实吹过了头，什么超越Sora、比Sora更真实流畅，这些咱们先放一放。但“造梦机器”哪来的支持120秒生成视频？事实上，“造梦机器”只支持生成5秒的视频，官网说的是生成视频需要等待120秒，排队时间另算。如果单独打开官网上的样片，一律都是5秒（除非做了剪辑）。
图/ Luma AI
这个视频时长，跟国产视频大模型Vidu的16秒（最近又宣称延长到了32秒的有声视频）就没法比，更别提把AI生成视频时长突破到60秒的Sora了。Sora之所以能做到更长的视频时长，核心功臣是采用的扩散Transformer架构——在扩散模型基础上，把U-Net架构换成了Transformer架构。“造梦机器”呢？目前Luma AI公司并未透露具体的技术细节。
当然，5秒的视频时长也不能说太短。目前大量的视频生成模型也只能生成5秒的视频，包括宣称可以生成最长2分钟的快手可灵，至少现阶段也只能生成5秒。而且，评价一个视频模型不能只看“时长”这一个维度，画面的可用性和使用潜力同样关键。
02 表现惊艳，但内容可靠吗？
坦率地讲，“造梦机器”给人第一印象还是挺惊艳的。先看看官方放出的样片。
图片经过压缩，图/ Luma AI
比如这段：一个氛围透露着危险的房间，持枪的男子小心翼翼地前进。除了人物主体和背景的一致性，最让人惊讶的可能是光照的变化。手枪上有明显的光线反射，在男子脸上，原本诡谲的红光在人物移动过程中，色温逐渐由暖转冷，与邻近光源趋同，亮度的变化也符合基本的物理规律。
再比如一段废弃房屋发生爆炸的片段，镜头由远及近。虽然还是会出现凭空固定的白色棒状物，但镜头移动过程中，家具的不变、气流变化引起的纸屑乱飞，都称得上符合直觉。另外，“造梦机器”也展现了作为动画创作工具的潜力：镜头从角色正面转向背面，已经很接近动画创作中的特写镜头。
图片经过压缩，图/ Luma AI
但这些终究是官方“严选”出来的。不管是文字、图片还是视频生成模型，官方Demo肯定是精挑细选，挑相对较好的展示。这一点大家都能理解，但从普通用户的角度，很容易代入误以为这就是模型的平均水平。
在实际网友创作和分享的内容里，即便是在那些相当惊艳的少数作品中，也能看到或多或少的错误。比如@minchoi用“造梦机器”创作的美少女视频，好几段都完全媲美真人实拍。
图/ X
但是，人物的手还是存在渲染问题，而且人物形态也会有一定变化。前面提到的《戴珍珠耳环的少女》视频中这种问题更明显。
图片经过压缩，图/ Luma AI
另外，一致性的问题还体现在风格上。有的明明开始是2D动画风格，慢慢就开始往3D动画转。
图片经过压缩，图/ Luma AI
体验者也用“造梦机器”创作了一段视频，Prompt是“A group of people walking down a street at night with umbrellas on the windows of stores.”实际效果还是比较糟糕的：人物诡异倒退，在背后拿着伞的怪异举动，还有飞起来的雨伞。
图片经过压缩，图/ Luma AI
不过也有一些优点，比如路面的倒影，背景和人物的一致性。即便如此，这些问题终究没有拦住广大网友的创作热情。毕竟相比Sora，“造梦机器”至少公开可用，还有每个月30次的免费生成机会。而相比大部分可用的视频生成模型，“造梦机器”在一致性上的进步是明显的。
除了免费用户，“造梦机器”目前还提供三档付费选项：29.99美元的标准档、99.99美元的专业档以及499.99美元的高级档，区别就是每个月可以生成视频的次数。
图/ Luma AI
对于普通用户来说，这些定价可能有些离谱，但对那些开始用“造梦机器”在TikTok上创作的创作者来说，估计还在接受范围内。
03 从AI画图到AI视频，大模型再次混战
AI视频不是从“造梦机器”开始的，当然也不是从Sora开始的。事实上，早在2022年AI绘画惊艳世界的时候，AI视频就已经开始吸引大量关注了。
回到2022年那个时间点。彼时ChatGPT还在酝酿（年底才发布），在大众眼中，AI技术发展最快速的领域当属AI绘画。2022年4月，OpenAI发布了新版本的文本生成图像程序DALL-E 2，一张由它生成的“宇航员在太空骑马”图片迅速蹿红社交网络，让一众画师真正有了“失业”的担忧。
图/ OpenAI
之后的Midjourney，在生成图像方面相比之前的产品都有更高的分辨率和更低的延迟。Stable Diffusion虽然起步最晚，但凭借开源优势，在用户关注度和使用范围上都超越了Midjourney和DALL-E，初期的进步也最明显。实际上，当时AI绘画已经开始“侵入”社会的方方面面，不管是获奖的《太空歌剧院》（Midjourney生成），还是各大公司尝试用AI绘画直接生成广告、海报甚至内容作品。
图片可以AI生成，视频还会远吗？众所周知，视频本质上就是一帧一帧的图片组成。所以2022年，谷歌和Meta就开始了一场关于AI生成视频的竞争：Meta有Make-A-Video，谷歌有Imagen Video，二者都是通过文本直接生成视频的视频扩散模型，底层还是AI绘图那一套。
图/ Meta
当时，AI生成视频时长都不超过5秒，分辨率也很低，同时画面变化很小，与其说是视频，更像是让图片“动一动”。更重要的是，谷歌和Meta受限于大公司的身份和惯性，都没有选择开放给用户或创作者使用，更多只是研究成果的展示，影响范围也基本局限在圈内。
相比之下，Runway、Synthesia以及Pika等AI视频创业公司就显得更加“灵活”。去年发布的Gen-2上，Runway不仅改进了视频生成的质量，还增加了Motion Slider（运动滑块）、Camera Motion（相机运动）等功能，把更多视频的控制权交给用户。去年火过一阵的Pika也是一款比较受关注的AI视频生成工具，凭借较高的画面质量甚至一度被称为“视频版Midjourney”。同时，相比Runway Gen-2，Pika为了确保内容的可控性和扩展性，更进一步给了创作者更多的控制权，比如可以精细到眼部和表情的规划生成。
此后，包括Stable Diffusion以及Midjourney也都陆续推出了生成视频的版本，让AI生成视频进入了战国时代。但不管哪一家，就AI生成视频的画面表现来看其实没有太大差异，更多是产品层面的差异。直到Sora带着Transformer架构出道，直接碾压。
04 大语言模型，在改变AI视频生成
Sora引发的震撼和讨论可谓有目共睹，甚至有人认为Sora将是通往AGI（通用人工智能）的快车道。Sora是否真正理解物理世界的运行规律，先放在一边不谈，但可以肯定的是，Sora彻底改变了AI视频生成技术的发展路线。
图片经过压缩、剪辑，图/ OpenAI
Sora最震撼的技术突破之一，就是输出的视频时长。当其他家普遍都只能生成数秒视频的时候，Sora直接将时长突破了60秒。事实上，包括最新发布的“造梦机器”也只能生成几秒的视频。一旦需要更长的视频，第二次、第三次、第N次生成的视频很容易出现变形，导致前后画面差异过大，从而无法使用。
此外，AI生成视频还普遍存在基于时间的连贯性问题。但在一段关于小狗的Sora生成视频中，行人完全挡住画面之后，小狗依然能保持住连贯性，主体也没有发生明显变化。再有就是大家提过很多次的“模拟”，能够很好地模拟符合物理世界规则的动作。
Sora的这些优势，很大程度上来源于架构上的核心区别。所以Sora之后，Transformer架构与扩散模型相结合的全新技术路线很快受到了广泛关注。包括生数科技（联合清华大学）的Vidu、爱诗科技的PixVerse、快手的可灵，也都采取了这一路线。从这个角度来推测，虽然Luma AI没有公开“造梦机器”采用的架构设计，但结合生成视频中表现的一致性和逻辑表现，很难相信它是在纯扩散模型上完成的。大概率，也是借鉴了Sora那种把Transformer架构融入扩散模型的做法。当然，这只是一种猜测，但对AI视频来说，这越来越成为一种必然。
