能生成完整剧集的AI来了,GPT-4辅助写剧本,输入提示几秒生成一集《南方公园》

HelloKitty 2023-07-27 15:40

扫一扫 在手机阅读、分享本文

1615

本文由 品玩GenAI 撰写/授权提供,转载请注明原出处。

文章来源于:品玩GenAI

作者:李禾子

从 1997 年流行至今的动画剧集《南方公园》今年 3 月刚刚更新完第 26 季,不过说起下面这集,你可能不太会有印象。

卡特曼有一天从最近的好莱坞抗议 AI 罢工事件中得到启发,突发奇想要做一个新的商业项目:一款名叫 Queepi 的在线深度伪造(Deepfake)服务,来给现成的影视作品里的角色换脸,解决好莱坞将没有新作供应的危机。

1.png

他先找到了 Bizney 公司,想让 Bizney 成为 Queepi 的天使投资人,却被发言人告知,“除非你能找到另一个愿意投资你的人”。

2.png

接着卡特曼又和他的小老弟 Butters 找到了投资中介人 Andreessen,一番讨论之后决定先找几个演员谈谈肖像权合作。

第一个是哈里森·福特。但福特拒绝了卡特曼,原因是他已经和某个非常有名的科技巨头签订了类似的合作。

3.png

第二个是梅丽尔·斯特里普。斯特里普先是表明自己坚定地站在好莱坞罢工者们一边,接着以 AI 会模糊现实和虚假的界限、抢走演员们的饭碗为由拒绝了卡特曼。她也神秘地说自己和某个科技巨头有约在先了。

4.png

第三个是汤姆·克鲁斯。从汤姆·克鲁斯这里卡特曼才知道,这几个大牌演员共同的签约对象是——埃隆·马斯克。

5.png

汤姆·克鲁斯没有明确拒绝卡特曼,反而乐意充当中间人介绍马斯克给卡特曼认识。

马斯克这边正在策划一个把一批知名演员送上火星,美其名曰保护人类文化遗产的项目。有汤姆·克鲁斯在一边说好话,马斯克决定考虑考虑投资卡特曼这个“变革娱乐产业”项目的事情。

6.png

故事的结局是,开始卡特曼还开心地跑到 Bizney 公司准备这家正在观望的公司入伙,不多久就得知,老奸巨猾的马斯克根本没有把他的项目放在心上,继续忙他的火星计划去了。

7.jpg

这个名为《Queepi 窘境》的滑稽故事看起来和《南方公园》的其他故事都是差不多的画面和风格,但炸裂的消息是,这个故事从头到尾的编剧、导演、剪接和配音,都是由 AI 完成的。

一家名叫 Fable 的旧金山初创公司在最近发布了这个叫做“Showrunner”的 AI 技术成果。Showrunner 目前能够在一些既有的影视作品(IP)的基础上,生成以用户的想法为主的全新作品。

Fable 成立于 2018 年,最早是作为 Facebook(现 Meta)旗下 Oculus 的一个部门诞生,早期主要在做 VR 电影的相关项目。

Fable 曾凭借 VR 电影《Henry》拿到了它的第一座艾美奖,后来又凭借由其打造的虚拟人 Lucy 出演的 VR 电影《Wolves in the Walls》再度拿下艾美奖。而就在 7 月早前,虚拟人 Lucy 还获得了皮博迪奖。

不过,现在 Fable 则把相当一部分精力放在了探索 AI 内容上。

“Lucy 的问题在于她没有过去,因为她从未真正生活过。”Fable 的 CEO Edward Saatchi 不久前在接受采访时说道,“她是一个虚拟人,但她无法通过说 ‘我也有宠物,后来它死了,所以我知道那种感觉’这样的话和真人产生关联。”

让 AI 拥有自己的生活,这几乎成为 Fable 探索 AI 的出发点。

Showrunner 便是这家公司目前 AI 研究成果的一次集中展示。

除了文章开头提到的故事,Fable 其实还用 Showrunner 生成了另外几个与之剧情相关联的《南方公园》的故事。比如其中一个就是关于 Bizney 公司创造了一个种族歧视的机器人猪伴侣,结果给公司造成了公关噩梦。

8.png

另一个故事讲的则是,投资中介人 Andreessen 发现马斯克绑架了好莱坞知名演员到火星和他一起生活,并从 90 年代就开始对他们出演的电影进行深度伪造。

从 Fable 发布的论文来看,Showrunner 用到了由其命名的 Show-1 模型,并且该模型主要用到了 OpenAI 的大语言模型 GPT-4,图像自定义的扩散模型和多智能体模拟等来进行训练。

如,GPT-4 主要用来影响模拟中的智能体(角色)并生成《南方公园》剧集的场景。

有趣的是,GPT-4 的训练数据集原本就包括了《南方公园》大部分剧集,所以它已经对每个角色的个性和语言风格都提前有了了解,所以这次也无需做定制。

扩散模型方面,Fable 则从以往的剧集素材中收集了一个由大约 1200 个人物和 600 张背景图片组成的综合数据集,作为模型学习该剧风格的原材料。

经过扩散模型的训练,可以为每个新作品生成新的单个角色和单独背景,来为后续拼接做准备。

多智能体模拟则是让剧中的角色智能体真正能“拥有自己生活”的关键一步,想象一下《西部世界》里的场景,此时剧中的角色等于说已经可以进行相互训练了。

而到了用户这里,操作界面就变得非常简单。

9.png

用户只需要进入 Fable 搭载了 Showrunner 技术的产品“Simulation”,在《南方公园》大地图中选择一个期望的主角,以及其他的角色、场景等,并输入一段 prompt,稍等片刻就可以生成一个崭新的故事。

比如开头提到的故事,输入的 prompt 就是:

卡特曼听说美国演员工会正在进行罢工,孩子们都在担心未来不会有新的作品推出。卡特曼宣布了他的商业创意:一个叫做 Queepi 的在线深度伪造服务。

对故事的干预程度也完全可以根据用户自己的偏好而定。

Fable 称,用户可以通过以下三种方式来生成故事:一是让 Simulation 自动创建剧集,二是给出一两句话的提示,三是针对细节,可以逐个场景编辑对话场景并重新生成。

10.png

此外,用户甚至还能把自己作为主角或其他角色放进去。

Show-1 的角色扩散模型允许用户通过图像到图像的 Stable Diffusion,根据自己的长相创建一个角色,作为参与的智能体加入模拟。由于用户也可以克隆自己的声音,因此通过扩散模型创建用户自己的角色也不是难事。

Fable 的 CEO Saatchi 就创建角色主演了自己的《南方公园》剧集。

11.png

从最后的效果来看,新生成的剧集几乎已经是“以假乱真”的程度。

拿《Queepi 窘境》这集来说,尽管它可能不是最有趣的故事,但它已经完整地包含了开头、中间的转合和结尾,并且当中的 13 个角色,每个人的台词都符合各自的背景、个性、语言风格和动机,甚至交代地点的空镜也非常贴合。

把它放给一个不知情的观众看,可能也很难想象这是AI创作出的作品。

这样的跨越意义非同寻常。

从目前许多大模型的表现来看,一般擅长的都是完成短期任务。就像可能在几天前用户想靠大模型生成一段视频,方法还都是比如先用 ChatGPT 生成剧本,用 Midjourney 或 Stable Diffusion 生成人物形象,再用 Runway 之类的视频生成工具去生成画面,最后再把片段剪接到一起。

还没有一个模型能够生成足够完整、有构思规划的长篇故事和影视剧集。

更重要的是,AI 智能体们可能从此将像《西部世界》里演绎的那样拥有自己的栖身之地,在这里它们有完整的生命,可以彼此对话,产生连接,发生故事……

Fable 似乎也并不满足于只借助他人的 IP 去生成《南方公园》这样的新故事。早先,Saatchi 就宣布 Fable 将创建一个充满 AI 角色的世界——这些角色将由真人训练,在虚拟世界中生活。

12.png

“我们推出 Simulation 的目标是通用人工智能(AGI),”Fable 几天前通过 @fablesimulation  的官方账号发文谈到,“AI 是真正活着的,而不像很多聊天机器人一样只在人类有需求的时候才被唤醒, ‘AI 人’能够在模拟世界中每天过着真实的生活,并随时间慢慢成长。”

13.png

Fable 还希望用户能够像“那就是真实的人在生活”那样看待现在这些 AI 生成的剧集。

14.png

对此,英伟达首席 AI 科学家 Jim Fan 还兴奋地断言,“多智能体模拟,将是新兴智能的下一个前沿。”

15.png

不过,Fable 风险可能在于,它现在刚好站在了好莱坞抗议 AI 罢工的风波之中。

7 月中旬,继编剧停工两个多月之后,美国演员公会也发起了罢工,要求抵制潜在的 AI 侵袭。据称这可能导致 60 多年来美国电影业最严重的一次瘫痪。

Fable 做的事,看上去恰好一拳打在了编剧演员们的愤怒点上。

拿《南方公园》来说,据报道,这部剧的每一集都是在 6 天之内制作完成——在开会脑暴之后,编剧写出剧本,然后由动画师、编辑、技术人员和音响工程师组成的整个团队完成制作,一周下来要工作 100-120 小时。

但随着 Simulation 这样的产品出现,不知道又会有多少人丢掉饭碗。甚至有媒体称 Simulation 的推出是“所有好莱坞从业者恐惧的总和”。

从社交网站的评价来看,网友对 Simulation 生成《南方公园》剧集这件事的评价还是比较两级的。支持者期待着能用这一工具改写烂尾的《权力的游戏》,惊叹于它的模仿能力,甚至预言它将能提高影视团队的生产力。

16.png

反对者则认为,Simulation 并不懂什么是影视制作,称它窃取了他人的成果,AI 就是纯粹的 VC 骗局;

17.png

潘多拉的魔盒一旦打开,就关不上了。

18.png

也或许是出于舆论压力,Fable 的公开发言都在反复强调《南方公园》剧集的生成“仅供研究使用”,“我们不会开放让用户创造自己的《南方公园》剧集的功能,因为这不是我们的IP!”

据 Fable 称,其正在与创作者合作,会在今年晚些时候宣布几个基于原创IP的 Simulations 生成的电视节目,包括了一个太空探索模拟“奖金”,一个讽刺硅谷的模拟“退出硅谷”,以及一款可玩性较高的侦探模拟“查理·木星”。

19.png

 Saatchi 似乎没有那么担心 Fable 的未来,几天前他在采访中就针对当前好莱坞的罢工风波表示:

“我们觉得(推出Simulations的)时机是正确的。通过发布研究成果,我们希望好莱坞工会能够协商强有力的保护措施保证艺术家的权益,同时知识产权持有者也需要弄清楚如何与商业化的人工智能公司进行谈判。”

“这次罢工是制定未来十几年规则最大的杠杆时刻。”

最新.jpg

微信图片_20230104175528.jpg

扫一扫 在手机阅读、分享本文

扫码关注公众号

获取更多技术资讯

客服微信
享受1V1专属服务
免费领取技术福利
发送名片申请入群
与CTO聊合作
(备注姓名、公司及职位)
热门文章