HelloKitty • 2024-07-16 17:18
1170
本文由 硅星人Pro 撰写/授权提供,转载请注明原出处。
文章来源于:硅星人Pro
作者:summer
仅概念片就获得 60 万全网浏览量、刚刚播出3集快手单平台播放量破 1000 万、首播登上院线大屏幕......
这并不是某一个明星大咖出演的大制作电影,而是国内第一部由 AI 生成的原创玄幻短剧《山海奇镜》。
上周末,《山海奇镜》在快手星芒短剧正式上线,以《山海经》为背景讲述了人与奇幻神兽之间发生的冒险故事。全剧分成了多个单元,目前上线的第一个单元《劈波斩浪》,围绕着一位少年为救母亲与海底巨兽展开殊死搏斗展开。
而之所以短片一经上线便获得了高度关注,除了内容本身之外,从剧本创意到分镜、美术、特效再到最终生成视频,都是由导演闲人一坤为主的 10 人小团队通过 AI 工具完成的。
从院线首播的效果来看,这个由快手可灵生成的版本已经足够流畅,几乎脱离了原先 AI 视频的动态 PPT 既视感,单个镜头大多在 3~5S,特别是在人物和景象的变化,包括共工破山、海浪翻滚、山石崩塌等物体运动幅度较大,且符合了物理世界规律。
例如,从侧身半蹲到站立转体的人物运动过程。
还有此前 AI 很难完成的多角色动作交互,在当前版本能够完整呈现出来,神话角色的大表情神态以及镜头的旋转配合得十分自然。
不过,从观众的角度来看,还是摆脱不了一定的 AI 感。站在 AI 视频技术发展的角度,大部分“老铁”还是持赞赏态度的,而将《山海奇镜》与现在短剧水平进行对比的观众,把真人演员当作尺子,往往会觉得 AI“僵硬”“没有灵魂”“好假”。
闲人一坤本人也讲道:“成片中仍然有一些令人遗憾的形变,但技术在不断进化,下一个版本会更好”。
《山海奇镜》制作的全过程是什么?是灵光一现还是有迹可循?普通人能复制,创作 AI 短剧么?
带着这些问题,我们与《山海奇镜》的作者闲人一坤聊了聊他从 2023 年 11 月至今的 AIGC 创作探索之路。
《山海奇镜》前传
准确的说,从 2023 年 11 月之前,《山海奇镜》只是闲人一坤的一个想法,并没想过能真正落地。
ChatGPT 爆火以后,他尝试过用 ChatGPT 聊创意(闲人一梦)、画图(马良)、写论文(MOJI )、做游戏(阿凡达),但这些都是简单的尝试,并没有进入到生产阶段。
4 月,闲人一坤在和“闲人一梦”的聊天中,第一次有了做一个山海经短片的想法,在对话中萌生了最初灵感。
在 ChatGPT 给出了短片的思路和脉络之后,在后面的系列 AI 产品测试中,闲人一坤都将奇幻短片作为了自己的核心创作主题。他先是尝试过自己的 GPT 马良生成图片,发现效果并不理想后,又开始在 Midjourney 中调试 Prompt,生成了一些“怪兽”的原画图。
在 Midjourney 6.0 版本,有一些人物与怪**互的原画图开始有了具象化的产出。用闲人一坤的话说:“这让人喜出望外”。
图片来源于 闲人一坤
当根据分镜脚本“搓完了”概念图之后,有了在 Midjourney 上的一些图片素材的积累,下一步就是将它们视频化。
时间来到了 2023 年 10 月,彼时,国内并没有太成熟的视频生成产品,“Runway 还不错,特别是 Motion Brush 的功能,在控制一些局部大动作的时候,能够做到想动哪动哪,后来我又拿到了 Pika1.0 的试用权,第一时间冲上去肝了一宿。”
起初,闲人一坤非常激动,但真正使用过各类 AI 视频工具后发现,大多数的效果都不尽人意。“说实话,结果让我有点失望,比如有的图片已经做到了高清,但是生成出来的视频非常模糊。”
12 月,在一个偶然的机会下,爱诗科技的产品团队进行前期调研时问到了闲人一坤的想法,并提出近期上线一个可以超分的 4K 功能(类比 Midjourney 的 Upscale 功能),尝试之后的生成效果,让闲人一坤“直接泪目”。
图片来源于 闲人一坤
至此,闲人一坤才有了将《山海奇镜》真正做出来的想法,并开始和自己的团队一起进入正式的生产流程。
10 天生成概念片,半年推出正片
在真正落地之前,剧本创作的第一步就把闲人一坤难住了。
现如今的大语言模型,只能给到一些零散的创意,并不能系统性地生成可用的剧本。虽然《山海奇镜》的题材是玄幻故事,但仍然是基于现实世界和新的世界观打造的,目前 AI 编剧还无法给出符合预期的作品。
闲人一坤认为,在 AI 技术还不够真实的现阶段,故事吸引力是内容效果的主力支撑,在这个环节,目前仍然需要真人编剧进行创作。
打磨好剧本,在制作环节,就轮到 AI 工具出场了。
有了过往的经验,闲人一坤的工作流是:按照着通过 Midjourney 文生图确定影片画面,一遍一遍地调整提示词,保持人物一致性,生成稳定、清晰、准确的画面素材,而后再将这些图“喂”给 PixVerse 或可灵等图生视频模型,生成预告片和正片素材,最后再给到后期人工剪辑。
“目前文生视频很不可控,前后人物的稳定性不高,更容易出现 Bug,而将 Midjourney 生成的图喂给 Runway、Pika、可灵再做视频生成之后,就可以人为地提供一致性和稳定性了。”
这意味着,最终视频生成的画面、效果、美感都押在了 Midjourney 生成的图片上。一遍一遍地产出、反馈、重新产出,经常需要在几十次生成里找到心仪的那个。
视频中一闪而过的这张老人图,闲人一坤就经过了多轮调试,具体提示词也非常专业和复杂:Front view, close-up, ancient times, white haired Chinese old man looking towards the camera, with eerie eyes and a hint of eerie smile at the corner of his mouth. His clothes are blue, with a realistic photography effect and indoor candlelight effect,翻译过来就是:正面面对镜头,特写,古代,一位白发的中国老人看着镜头,眼神诡异,嘴角带着一丝诡异的微笑。他的衣服是蓝色的,具有逼真的摄影效果和室内烛光效果。
团队用了 10 天时间,让上述工作流在 PixVerse 上生成了 1 分 49 秒的预告片并对外发布,在 AI 的社区和影视社区后引发了广泛讨论,仅概念片就获得了全网 60 万的播放量。
展示此内容这让闲人一坤更加坚定将《山海奇镜》做成正片的想法。
但在 4 月到 5 月,技术本身没有太大的迭代,闲人一坤使用了各种图生视频的 AI 软件,都遇到了生成的效果动作幅度太小的问题,难以摆脱“PPT 式影片”的风格,在很长一段时间里,闲人一坤讲道:“每一天都是最难的一天”。
“我们甚至考虑过用 ComfyUI 去搭建工作流、绿幕动捕转绘,但不论是哪一种,都不是很满意。要么就是动态 ppt,要么就是没法跟背景完美融合,不论如何抽卡,如何剪辑,总是达不到理想的效果。”
直到今年 6 月,可灵的出现,将视频生成的一致性和逻辑性又提升了一个台阶,闲人一坤随手 1 小时做的视频,竟然在 X 上获得了 10W 的观看量。他察觉到可灵或许能够解决当前自己遇到的瓶颈,于是找到可灵的团队,提出希望深度合作的意愿,将 5 月底已经生成的作品,又花了 10 天用可灵重置了一版。
以前面提到的水神共工从山中站起的镜头为例,在最终的呈现版本里,可灵不但完成了“站起来”的动作,甚至于整个人物还实现了立体的转体,肌肉的质感和头发的飘逸都符合了闲人一坤的要求,“这个镜头在原来的传统影视工业当中,需要很长时间和很大资金成本的。”
不过,整个重置过程,也并不是完全顺利的,仍然非常依赖一遍一遍地“抽卡”,有一个水神共工和火神打架的镜头,因为涉及到大幅度的动作交互,闲人一坤让可灵跑了 100 遍,但在成片中仍然有一些令人遗憾的形变。
《山海奇镜》可以被复制吗?
《山海奇镜》是可以被复制的吗?答案是肯定的。
通过闲人一坤团队的探索路径来看,目前他们已经形成了一个完整的工作流,在这个工作流中,除了剧本制作和后期剪辑是人工完成,其余环节均由 AI 生成。
另一方面,《山海奇镜》的出现,意味着小团队、低成本的视频创作,有了更多后续商业化的可能。
《山海奇镜》的预告片之后,来找闲人一坤合作的机会络绎不绝,文生图+图生视频的工作流也被他们这个 10 人的小团队多次验证。
在 2 月,闲人一坤正式做完了第一个商业化案例,给梅兰芳制作一个 AI 短片。而后又陆陆续续接到了多个 AI 影视项目,比如给北冰洋做的 AI 广告,湖南卫视的一些宣传片,还有目前正在给亚洲冬季运动会的主题曲做 MV 等等。
除了闲人一坤的尝试,其他的 AIGC 团队也接到了 AI 广告项目。例如三星堆未来启示录的项目成员给东方树叶制作的广告视频;小红书博主@火山AIGC 尝试用可灵给奔驰制作的短片案例等等。
一方面,广告作为商业内容,本身时长不长,且对于人物表演要求不大,大多是物体的运动和展示,目前的技术已经能较为合理地呈现出来,其次则是相较于实拍+传统特效,AI视频的成本更低,以《山海奇镜》为例,闲人一坤透露整部片子的成本,只是之前一个特效画面的钱。
除了接项目赚钱,闲人一坤的星贤文化已经决定 ALL in AI,甚至刚刚完成了种子轮融资,可以试想的是,在传统影视寒冬没完全过去的时候,如果是只是一个传统影视公司,很难获得投资人的青睐。
他也明显感觉到,整个 AI 影视的探索步伐在加快,使用 AI 的人和作品也越来越多。六月以来,央视频的三部曲《英雄》《爱永无终止》《奇幻专卖店》,抖音即梦 AI 支持的《三星堆:未来启示录》等 AI 短片正在密集上映。在这些短片背后的技术层面,爱诗科技 PixVerse、Luma AI 的Dream Machine、Runway 的 Gen-3 Alpha、开源项目 Open-Sora、谷歌 DeepMind 的 V2A 等一众技术产品也迎来了新一轮的更新潮。
目前,技术仍然决定了最终作品的“天花板”。
“我们这个阶段的创作者,多少仍有些心有不甘。”闲人一坤说道,“技术在不断地进化,一个新版本的迭代,就可能会将原来的上限打破。”
扫码关注公众号
获取更多技术资讯