HelloKitty • 2023-06-13 16:42
2447
本文由 新智元 撰写/授权提供,转载请注明原出处。
文章来源于:新智元
作者:新智元编辑部
翘首以盼了三个月,Runway 的 Gen-2 终于可以免费体验了。
可以说,这是 AI 视频工具发展史上值得载入史册的一天。
试用地址:https://app.runwayml.com
这个 AI 工具,能用文本和图片迅速生成 4 秒的视频。也就是说,生成视频的方式,完全就是「无中生有」。
看完下面这个 demo,直让人惊呼:导演和演员是真要被一键淘汰了?
激动的网友们纷纷跑去实测,感想就是:效果太炸裂了,这个 AI 是疯了吗?
唯一遗憾的就是,目前生成的视频只有 4 秒钟。(但如果前后的画面不突兀,多拼接几个 4 秒的视频,其实也够了)
来源:歸藏
来源:紐村遁一子
激动的心,颤抖的手,经常在颅内自动上演各种大片的小编,可实在是按捺不住了。(所以我梦里的画面可以成真了吗?)
小编实测:人人都能制作小电影!
话不多说,实测这就来了。
进入页面后,先试一个简单的 prompt:「人类第一次登陆火星,建造基地的场景」。
Gen-2 生成的画面内容是符合提示词描述的,但是画面中元素太过简单,艺术感也差强人意。
于是小编又加了一部分和环境风格相关的内容:「人类第一次登陆火星,建造了火星基地,电影风格画面,未来风格。」
果然,这次 Gen-2 生成的内容和效果确实比之前的要丰富。
然而,这段视频还是存在一个问题:画面和人物几乎都是静态的,变化很少。
在反复测试之后,我们找到了一些提示词必备的内容:风格,镜头,内容,动作,环境和光线。
只要在提示词中加入这些内容,就会立马让生成的动画有显著的提升。
针对刚刚登陆火星的主题,小编又试着改写了一个提示词:
「电影风格,科幻风格,两个宇航员在火星基地中建造一个工作塔,非常强的阳光。」
现在生成的这段动画和前两个相比,不论是画面风格,内容丰富程度,动作效果,还是光影效果,都明显有了很大的提升。
最后,小编再在同样的提示词基础之上,上传了一张图片,让 Gen-2 依据提示词和图片生成了一段动画。
可以看到,和同一个提示词但是没有图片的第三个视频相比,带图片提示的第四个视频确实和图片内容有了相当大的关联。
在精准的提示词和图片的共同描述下,基本上任何人都能瞬间生成一段理想的视频内容了。
时代变了:只有想不到,没有生不成
比起上次,Runway 这次的的宣传语更进一步:「只要你想象得到,它就能给你生成」。 (上次的宣传语是「say it,see it」)
这还得了?要说咱们一般人和大导演们的差距,除了专业知识和经验,差的就是专业的摄影团队和演员了。
后者这样的差距现在完全被 Gen-2 这样的 AI 工具给补全了,不用相机,不用摄影机,不用 3D 建模,不用 Cinema 4D……
只要你想象力爆棚、学会熟练的「咒语」,「人人都能做自己的电影」再也不是梦了!
无论是写实的画面——
还是更抽象的东西——
甚至还可以生成动画,再对它进行各种操作,然后插进自己的视频里。
视频生成的门槛被大大拉低,这真是广大内容创作者的福音。
可以说,文生视频/图生视频的 AI,实在是给行业太大的颠覆性改变了。
以往,如果剪刀手们想寻找到某个合适的素材(比如一些在空间中飞溅的颜色),得去 stock footage 这种素材网站去搜索,素材的范围很有限,而且人人都可用,素材并不是独家的。
或者,在工作室中拿一些油漆往周围扔出去,然后自己用相机抓拍。又费时又费力,还把周围环境搞得一片凌乱。
也可以在 Blender 中自己做,一般需要耗费数小时,甚至数天。
或者,就需要雇一个专业团队,专门来拍摄这一过程。所花的费用,大概在几百到几千美元不等。
现在,Gen-2 把这些成本,统统打了下来!
Gen-1 又火了
其实,此前的 Gen-1,效果就已经足够炸裂。
随着 Gen-2 的发布,下面这段视频最近又被带火了。
只见,大叔一个响指,就变身贵族,穿越到了 17、18 世纪的欧洲宫廷。
很快,一个响指,又变身成了像是「星球崛起」里的主角,在残垣断壁的战场上穿梭。
这还不算什么,紧接着的性别切换,堪称一绝!
谁能想到,如此健美的女性,其实是刚刚那个「老爷子」。
不得不说,在网友的调教下,Gen-2 生成出的背景、人脸以及服装不仅相当自然,而且似乎还有比较强的一致性。
但最难处理的手部,还是会经常出现 bug。
一个MV,30 刀
已经有手快的推特网友,测试了一下 Gen-2 生成 MV 的能力。
实践证明,我们需要一个相当长的提示,来产生优质和可控的结果。不过,可以通过添加或改变一个词来进行微调。
除此之外,还有一个重要的影响因素——锁定种子。
剩下的,就是进行大量的尝试了。
比如,这位 Steve Mills 总共生成了大约500秒的视频,并最终剪辑成了 140 秒的 MV。
值得注意的是,这段视频其实是在测试版中制作的。
据作者估计,如果按公开版的价格,整个制作下来至少要花费30美元。再加上之前的学习和摸索阶段,这个价格还会更高。
手把手教你如何使用
看了这么多示例,怎么进阶好莱坞大导?咱们一步步来。
首先,注册一个账号。
进入主页后,选择 Gen-2:Text to Video。
然后,Prompt box 就出现了。此时就需要你大显身手了!
Prompt 完成后,你还可以打开选项设置卡,升级你的成果,比如选择插入帧,让视频过渡更平滑,提高分辨率,去除水印等。
然后,点 Generate,接下来就是见证奇迹的时刻!
但是很多小伙伴要说了,自己是语死早,太复杂、太华丽的 prompt 根本写不出来啊。
别急,这次上线的 Gen-2 还给了我们一大惊喜——即使是简单的 prompt,Gen-2 产出的视频也并不差。
比如,简单地输入「一棵树」,生成的视频是这样的——
如果输入「在美国中西部长满草的山上的一棵树,专业电影风格,景深浅,主体对焦,美丽的灯光,流畅的动态运动」,生成的视频是这样的——
就是说,不必进阶为 prompt 大师,咱们普通用户也能快速生成酷炫的视频了!
对此,B 站网友们纷纷开起了脑洞。
也有人上手实测了。
国外网友看到了 Gen-2 也是一片惊呼
终于等到你,还好我没放弃。
随着生成式 AI 不断产生视频内容,娱乐行业马上要变天了。
在几十年前,那时的电影跟现在的画质还有着天差地别。
而如今,有了 Gen-2 之类 AI 工具的加持,或许以后电影的边界,只是人类想象力的边界,而不再是技术的边界了。
参考资料:
https://app.runwayml.com/
扫码关注公众号
获取更多技术资讯