王者归来:AI视频巨头Runway深夜发布Gen-3,演示暴打Sora惊艳网友
时隔多月,Runway终于再度出手。新版Gen-3 Alpha这次是直接冲着Sora来的。
相比前代Gen-2,Gen-3 Alpha在细节、一致性、运动表现上,又来了一次史诗级的飞跃。

消息一出,网友们立刻炸开了锅,激动地转发各种演示片段,前些天风头正盛的Luma,瞬间光芒都被压了下去。

有网友直言:“Luma开始雪崩,Gen-3 Alpha即将主导战局!Runway在保真度、一致性、动作和真实感人体方面取得了显著进步,模型尤其擅长生成富有表现力的人类角色——各种动作、手势和情感都拿捏得恰到好处。”
至此,AI视频领域似乎又要迎来它的新领航者了。

Runway自己表示,Gen-3 Alpha的诞生,意味着我们离通用世界模型和新一代AI视频又近了一步。
Gen-3 Alpha:新基础设施系列的首个模型
Gen-3 Alpha采用的是视频和图像的混合训练方案。
和2023年11月推出的前身一样,它同样支持文本到视频、图像到视频以及文本到图像等多种功能,并且涵盖了运动画笔、高级相机控制和导演模式等控制选项。未来,Runway还计划放出更多工具,让用户对结构、样式和运动的控制更加游刃有余。
按照Runway的说法,Gen-3 Alpha是基于大型多模态模型的全新训练基础设施训出的第一个模型。不过,具体的技术细节和改变,官方并没有透露——这次连技术论文都没发,只在博客里放了一批最长10秒的视频示例。
即便如此,网友们已经给出了极高评价:“令人印象深刻。光线、颜色、皮肤纹理、清晰度,一切都让人惊叹。”

还有人说:“这就是即将撼动娱乐圈的AI!”

Hugging Face创始人表示:“泰酷辣!谁将会成为从开源视频模型收获百倍关注的幸运儿?”

就连Pytorch之父也给出了高度评价:“这简直就是Sora级别的模型。”

人物更加真实,表现力更加细腻
从下面的示例能看出,新模型不仅在把握不同动作、手势、情感的人类角色上更加细腻,在场景元素和过渡的时间控制上,也有了明显的进步。
人物生成方面,肖像的面部细节更真实,而且即便在10秒长的视频里,风格一致性也保持得很好。比如坐在车里的女子,经过霓虹灯街道时,脸上的光影变化毫无违和感。

仰头大笑的男子,戴上假发和眼镜后,根本看不出是AI生成的。

穿着宇航服的男子穿梭在石头建筑之间,仿佛在讲述这座古城的历史。

还有一位老人在仓库中的特写镜头。

日漫人物的生成也是相当完美。

更懂物理世界
Gen-3 Alpha经过了描述详尽、时间连续的训练数据训练,生成的画面不仅富有想象力,过度效果也十分自然。而且,它还能对场景中的元素进行精准的关键帧动画制作。

对物理世界的理解也更近了一步。比如洪水涌入山庄时,水流状态与真实世界别无二致。

走廊中,闪光灯打在飞舞的银色布料上。

不过,蚂蚁的腿这次还是没对。一会儿多几条,一会儿少几条,堪称“薛定谔的蚂蚁腿”。

在由远拉近的镜头生成中,Gen-3 Alpha能够细致地呈现想要的场景。

这个热气球的运镜效果也是如此,和实际拍摄的移动镜头几乎没有区别。

超梦幻的海底世界,仿佛置身梦境。

更值得一提的是,Gen-3 Alpha在视频中生成字体的能力变得更真实了。一面白墙上用黑色涂鸦写着“Runway”,效果让人眼前一亮。

博物馆中一幅画的宽幅对称照片,镜头拉近到画作附近。

窗外看到一个巨大的奇怪生物在夜晚的破败城市中行走,一盏路灯照亮了昏暗的地方。

一缕缕活生生的火焰,在熙熙攘攘的幻想集市中飞驰的特写镜头。

此外,官方放出的炸裂演示还有不少:




还有一些网友已经拿到了内测资格,开启了第一波试用。



Gen-3 Alpha此次升级,为什么能在画质美学上再次实现史诗级突破?原因其实很简单:在这次模型的训练中,凝聚了研究者、工程师和艺术家的共同努力。这种跨学科团队的合作,让Gen-3 Alpha能自如地诠释各种风格和电影概念。
追赶Sora
除了标准版本外,Runway还在和娱乐、媒体公司展开合作,开发Gen-3的定制版本。这些定制模型将为用户提供更好的风格控制、更一致的人物表现,并且能满足用户的特定要求。
另外,Runway还宣布了新的安全功能,比如改进的审核系统和对C2PA标准的支持(这也是所有主要商业图像模型都在使用的标准)。

说起来,OpenAI的Sora已经鸽了很久了。2024年2月,Sora横空出世,在一致性和图像质量方面标志着全新的里程碑,直接刷新了全世界对AI视频的认识。但到现在,Sora仍然没有公开可用,距离商业化的路还很远。
不过,全世界的Sora平替也像雨后春笋般冒了出来。多年以来,RunwayML一直是AI视频领域的先驱,凭借这次Gen-3 Alpha的发布,它再次证明了自己的地位。

还有一个重磅消息:再过几天,Gen-3 Alpha就会向付费订阅者开放了。