剪映新AI体验:图片生成满分,替代Sora为时尚早!

HelloKitty 2024-05-11 17:22

扫一扫 在手机阅读、分享本文

1225

本文由 雷科技 撰写/授权提供,转载请注明原出处。

文章来源于:雷科技

 编辑:大月亮

说起剪映,相信大部分人对它的第一印象都是视频剪辑,凭借操作简单、使用方便等特点,剪映深受视频小白、剪辑爱好者,乃至视频工作者喜爱。

今年年初,Sora 文生视频给行业带来了不小的震撼,作为一款时刻处于潮流尖端的软件,剪映自然不会错过 AI 浪潮,将产品与生成式 AI 相融合,或许是视频剪辑软件的未来方向之一。

近日,剪映 Dreamina 官宣其品牌正式更名为中文“即梦”,同时全量上线 AI 作图和 AI 视频生成功能。即梦核心功能包括图片生成、智能画布、视频生成以及故事创作,其中图片生成和视频生成功能为大家熟知的文字、图片描述生成,借助 AI 技术降低用户创作门槛;而智能画布功能则是即梦的一大亮点,通过交互式设计,让用户对图片或 AI 生成图片进行二次创作。

而故事创作功能即 AI 生成连续性更强、更具故事性的视频,小雷对这个功能十分期待,这意味着用户对 AI 视频的把控性会越来越强,假以时日,未必不能借助 AI 生成人物一致、内容一致的长篇连载视频。不过目前该功能还在测试中,正式上线还需等待一段时间。

最近小雷也体验了不少 AI 生成产品,有惊喜,也有失望,即梦的生成式 AI 水平属于什么水平,让小雷带你一探究竟。

文生图片表现稳定,产品本土化需重视

即梦首页布局比较简洁,重点突出 AI 作图和 AI 视频两大功能模块,模块下方罗列着其他用户创作的作品,包含动漫、写实、科幻、水墨等风格。

小雷大致看了一圈,感觉作品质量还挺高的,并且作品生成关键词绝大多数为中文,仅有少部分是英文。作为国内厂商开发的软件,即梦 AI 对中文的理解能力应该比国外产品更好。

1.png

图源:即梦

图片生成的具体步骤与市面其他 AI 生成产品一致,用户通过输入描述关键词来生成 AI 图片。为了让 AI 更好理解关键词,即梦支持导入参考图以及选择生图模型,生成出符合用户需求的图片。

图片质量和尺寸方面,用户可以决定图片精细度(1-50 范围),数值越大生成的效果质量越好,耗时会更久。同时,即梦支持 7 种尺寸的图片比例,方便用户使用 AI 图片。

2.png

图源:即梦

小雷参考其他作品的关键词,以关键词“红色长发女人肖像,黑色长裙,写真风格,精致的审美情感,逼真的图像”生成了一张写真风格的图片。不知道是网络问题还是精细度拉的太高,第一次生成就失败了,第二次生成过程还算顺利,耗时大约 30s 就出现了 4 张不同的 AI 图片。

3.png

4.png

图源:即梦

大家觉得四张 AI 图片的质量怎么样?小雷个人挺满意的,人像面部、身体特征清晰。在小雷这个外行人眼中,样张质量已经和杂志相差无几了,唯独欧美风模特让人有点摸不着头脑。小雷输入的关键词只提及了性别,但 AI 似乎默认了人种。

后续小雷在不改变其他关键词的情况下,新增了“亚洲”定语,AI 也能顺利识别。面向国内市场,即梦 AI 大模型或许要在优先度方面调整,才能更符合国内用户的使用习惯。

5.png

图源:即梦

除了人像图片外,即梦其他风格的生成图片也有不俗表现。从仿真人的摄影写真,到风格迥异的手绘插画,小雷生成了不同风格的图片,AI 表现比较稳定,基本能精准生成,但在手指细节等生成式 AI 通病上还是偶尔会出现瑕疵。

6.png

7.png

图源:即梦

智能画布:无限扩图是个好东西

智能画布是即梦 AI 的一大特色功能,支持扩图、局部重绘、消除抠图、高清放大等功能。该功能不仅可以对普通图片进行编辑和 AI 重绘,还能二次创作用户生成的 AI 图片,修改区域和风格由用户自行决定。

8.png

图源:Pexels

小雷首先对普通图片(地球)进行了图生图AI重绘,关键词为“魔幻地球”。原本普通的地球图片经过 AI 重绘后,变得科幻感满满,新增的光影和色彩效果让图片变得更立体。不过因为原图布局的原因,导致地球四周环境不够明显,这时候就需要扩图功能了。

9.png

图源:即梦

经测试,小雷发现即梦 AI 的扩图功能理论上是无上限的,也就是用户可以一直扩图下去。扩图时用户可以输入本次扩图的关键词,如果关键词为空,那么 AI 将按照原图的 AI 风格扩图。

小雷还是得提醒下想要体验智能画布的朋友,虽然智能画布的生成效果和效率确实不错,但局部重绘功能还是存在不小的缺陷,以普通地球图片为例,如果你手动选择了重绘范围,那么很可能会获得各种奇葩风格的地球照片,小雷就亲眼见证地球变成了一锅饺子。

小雷猜测这可能是局部重绘没有输入关键词选项的缘故,AI 会自行判断重绘风格,并且判断正确率不高,或许即梦后续会继续优化该功能,给用户更好的使用体验。

10.png

图源:即梦

AI 视频:效果不及预期

接下来是即梦 AI 的重头戏——AI 视频生成,与 AI 图片相比,AI 视频兴起的时间较短,并且有 Sora 这样的前辈作为参考,也能更好的观察即梦的视频生成能力。

与图片生成一样,视频生成也有文本生视频和图片生视频两种模式。小雷先体验了文本生视频模式,关键词为“一个中国古风小女孩,在长城上跑步跳跃,表情开心,笑容甜美”。值得一提的是,非会员用户目前只能免费生成 3s 的视频,想增加时长就只能充值了。

视频一出来,小雷是又惊又喜。喜的是关键词几乎都识别到了,惊的则是视频质量差的有点离谱,尤其是小女孩的表情,小雷差点以为自己点开了 B 站鬼畜,五官移位就不提了,这表情多少有些狰狞了。而关键词“跑步跳跃”也升级成了御空飞行,说到底还是 AI 没能彻底理解关键词的逻辑。

11.gif

图源:即梦

小雷发现首页展示的精美作品,大多是采取图片生视频模式,并且许多用户只是直接上传图片没有添加关键词,但还是能实现不错的效果。为此,小雷继续尝试图片生成视频,这次我选取了刚刚 AI 生成的图片作为蓝图。

用图片生视频模式,相当于给 AI 框定了方向,因此视频质量没有出现大的纰漏,但还是同样的问题,远处两个人物的动作不太符合物理定律,看上去十分违和。可能是没有太多动作的缘故,近处人物和背景的情况相对好很多。

12.gif

图源:即梦

总的来说,两种生成模式视频的质量还不错,大家看到的效果是经过视频转动图的压缩,视频质量有一定影响。其次,文本生视频比图片生视频的效果差太多了,人物与背景透露着不真实感。同样的,图片生视频也存在许多问题,人物动作以及环境可以改进的地方还有很多。

目前受限于 3s 时长,小雷无法窥见即梦 AI 视频的全貌。按照目前的体验,小雷认为与其说是视频,倒不如说是动图。当然,这是针对非会员,会员解锁视频时长后能取得什么样的成果,还需等待其他用户的分享。

写在最后

体验 AI 图片生成有多惊喜,体验 AI 视频生成就有多失望,这是小雷一通体验下来的真实感受。起初,风格各异但又能保持稳定高质量的生成图片,让我产生了国产生成式 AI 崛起的感觉,但很快生成视频的各种情况又让我打消了这个念头。

其实这也能理解,毕竟视频生成兴起的时间并不长,即梦又是刚刚推出的新产品,用户需要给多点耐心支持国产大模型发展,毕竟最让人感兴趣的故事创作功能还没正式上线。现阶段,即梦视频生成还存在很大的改进空间,其中 3s 时长的限制或许是即梦在 C 端传播的最大问题。

不难理解品牌需要创造盈利点,但3s充其量只是个动图时长,如果能稍微放宽点时长限制,用户也能更好的感受即梦 AI 带来的创造力。

目前即梦图片生成功能限时免费,视频生成功能每个视频消耗 12 积分,新用户每天领取 60 积分,也就是支持生成 5 个视频,感兴趣的朋友可以自行体验。

*插播一条消息:在全球化的时代浪潮中,AI+跨境电商正迎来前所未有的发展机遇,为了让不同领域的企业聚集在一起,展示在AI跨境电商领域的服务和产品,促进行业内的信息流通和合作机会,白鲸跨境与白鲸技术栈正在招募一群富有激情和创造力的伙伴,共同绘制AI+跨境电商的生态图谱!如有感兴趣者,可点击下方链接进行报名。

AI+跨境电商图谱招募令报名链接:https://www.baijing.cn/activity/1636

微信图片_20240222160346.png

微信图片_20240313155219.jpg

微信图片_20240207151541.png

微信图片_20230104175528.jpg

扫一扫 在手机阅读、分享本文

扫码关注公众号

获取更多技术资讯

客服微信
享受1V1专属服务
免费领取技术福利
发送名片申请入群
与CTO聊合作
(备注姓名、公司及职位)
热门文章