特效大神用真人视频一键生成动画,动画师要失业了?
之前把普通照片变成二次元画风的各种 AI,大家或多或少都了解过:
又或者是让 AI 创造一个真实的美女:
近期外国知名视频特效团队 Corridor 就整了一个狠活儿,AI 在他们手中要创作的不再是一幅画,而是要让画面组成一个完成的动画。例如下面这个片段,其实就是 AI 照着真人绘制的:
动画中两位王子进行了了一场惨烈的决斗,而方式竟然是「剪刀石头布」!虽然沙雕,但这画面确实够热血的:
看不出来是 AI 做的?可以对比一下真人镜头,简直完美同步,无缝切换:
画面干净,表情生动,没有鬼畜,甚至画风还有点经典。就好像是有一个动画团队用画笔照着现实中的人物绘制了一幅幅画面。但其实 Corridor 仅仅用到了四五个人,而且他们压根也都不会制作动画。
可以想象一下,AI 先是让你能从 0 基础变成画师,现在又有可能变成动画制作者,听起来创作更加轻松自由,这就有点科幻了。
所以,他们到底是怎么做的?
整个步骤简单来说,就是先让真人演一下,然后让 AI 把真人视频弄成动画版本。当然这个过程说起来容易,做起来复杂。
他们使用的工具是我们之前介绍过的 Stable Diffusion,关键词给到 AI,根据你添加的模板,它能帮忙生成各种风格的画面。
而想做视频首先要解决的问题,就是画面的不稳定性。
因为每一帧的画面不同,AI 生成的画面也会有明显差异。例如之前网友制作的「塞尔达风格侏罗纪公园」,作品已经相当流畅,但依然可以看出人物本身都在飞速变化,发型不断改变。
所以 Corridor 先尝试在几帧内固定了画面风格,以此来让画面大体稳定住,不要变动得太离谱。
但此时人物风格依然在不断转变,比如每张图中,角色的眼睛大小、画风都会更换,甚至有时候戴眼镜有时候不戴。
为了解决这个问题,就要用到一个固定的模型,统一画风,让 AI 别想太多。
于是他们用《吸血鬼猎人 D》的画面对 AI 进行训练,使用的截图包括各种面部特写、肢体、身体等等:
这样一来,生成的画面都是以这部动画为基础,眼睛也就不会忽大忽小了。
同时还要解决一个问题,那就是脸部的细节依然不稳定,而处理这个问题的方法,就是同时训练一个演员自己的真人模型。需要演员穿上戏服,然后多角度疯狂拍照,给 AI 制作素材。
经过训练的 AI 也可以生成演员的图像,只不过手指头偶尔还是残缺的。
接着还需要继续训练,用演员的照片生成动画形象,不断迭代,最终才有了比较满意且稳定的动画形象。
在多重训练的加持下,动画的效果也就变得理想了一些,画面的统一性基本稳定下来了:
再用上视频特效技术减少闪烁,画面由此变得更加惊艳,人物的情绪饱满,动作连贯而且流畅:
再加一些漫画特效,你说这是某部动画里剪辑出来的片段都没问题。
接下来他们要给自己的动画设计故事情节与背景:「国王死了,两个王子要用石头剪刀布争夺王位」,这剧情听着都像是 AI 写的。
技术有了,故事脚本有了,接下来开始正式制作。例如开始配音,虽然没有画面,但几位老哥还是吼到声嘶力竭。
之后就是从网上搞一下服装,两个主演穿上就去拍戏了。
真人视频拍好就交给 AI 处理画面,同时加入各种细节对画面进行调整。
于是现实中的各种演出,就这样被 AI 一点点给动画化了。
把绿幕抠掉,人物素材就基本完成。
然后把图喂给 AI,再生成一大堆的背景图。
接下来就是对视频的整合与进一步处理,包括镜头、衣服、光线的变化等等。
例如让背景平移,这样镜头看起来像是在旋转,动态感就有了:
人物与背景相结合,最后输出成动画:
在动画中,甚至一些微表情也能对照真人进行还原,眼角的跳动,嘴角的抽搐,真人怎么做,AI 就怎么画:
石头剪刀布搞得像是放出了杀招一样,看着又尬又好玩:
这样的制作,已经完全脱离 AI 画图的感觉了。
这部动画在推出后目前已经有了超过 200 万的播放量,并引发了激烈讨论。
大多数人的观点再次认为,AI 将引发新一轮的革命,要失业的感觉笼罩了不少网友。
但也有人指出,AI 的成本并不比画师的工作量小。
首先,Corridor 是一个极为专业的特效团队,每个人都能力出众。以前恶搞波士顿动力机器人反杀人类的视频就出自他们之手,当时很多人对此都真假难分。
所以与其说是 AI 生成得好,不如说他们本身就拍得好,花了两个月才有了动画的精彩演出,普通人想要这样操作还有点遥远。
同时画风也是锁死的,因为他们的动画是根据真人来制作的,所以画风也贴近写实,如果画风再夸张一点效果可能又会变得不理想。
最后争论的就是版权问题,不少画师还是很抵触自己的作品被喂给 AI 的。
但想要完全脱离画师制作动画也不现实,像是这次的制作就还是使用了《吸血鬼猎人 D》的画面进行训练,想让 AI 完全自己绘制还是两个概念。
对此也有人指出,只要工具好用,动画公司会自己搞定版权,最后受伤的只有普通打工人。
话说回来,我还是对 AI 的成长充满期待。
按照这个进化趋势,以后把一部电视剧喂给 AI,说不定也能轻松输出一部动画版本。一想到这里,这下不得不期待了。
参考资料:
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
责任编辑:夏冰
最新阅读
-
“深交所·创享荟”打造资本市场服务国企改革新典范
9月27日,深交所举办第九期“创享荟”国企专业化整合专场活动。“创享荟”是深交所着力打造的具有深市特色的市场服务品牌,目前已围绕热点主题举办了多期专场活动,影响力和吸引力不断增强。 深交所相关负...
-
微软在GitHub上线开发工具包,助力开发者使用Rust语言编写Wind
,微软Azure首席技术官MarkRussinovich日前在X平台发文,公开微软最近宣布“扩大采用Rust语言的成果”,微软同时还在GitHub中发布了一系列开发工具包,让开发者可以使用Rust语言...
-
擦亮“金融为民”底色光大银行多维发力谱写“人民金融”新篇章
像这样面向听障人士的手语服务模式,光大银行已持续运行了四年。四年来,光大银行通过收集听障客群金融业务需求及沟通痛点,让金融服务更贴近听障人士的日常生活。而这,只是光大银行践行“金融为民”初心,努力提供...
-
云南信托联合多家金融机构进乡村开展金融知识普及教育
近日,为帮助广大农村群众进一步提升金融素养及金融风险防范意识,助力打造诚信、健康、安全、和谐的金融环境,在云南省农村信用社联合社、昆明市农村信用社联合社及昆明市西山区农村信用合作联社的共同协调组织下,...
-
“领头羊”计划走进广州番禺,超59家企业具备上市潜力
南方财经全媒体记者翁榕涛实习生曾日丽广州报道 9月26日下午,广州企业上市“领头羊”行动计划“番禺行动”启动仪式在番禺节能科技园交流中心举行。 据南方财经全媒体记者了解,今年7月以来,广州市地方金...
-
算力牛股中际旭创股价“反攻”800G能否助三季度业绩惯性增长?
21世纪经济报道记者雷晨实习生原婷婷北京报道 近期受国内外AI利好消息驱动,二级市场上,中际旭创股价重新抬头,9月26日、9月27日连续上涨。截至9月27日收盘,公司股价报收于114.07元/股,收...
-
索尼申请外置小型触摸屏专利,可“架在”PS5手柄上远程游玩游戏
,据外媒gamerant报道,索尼近日注册了一项新专利,从文件内容上来看,这项专利主要显示,外加可以使用一个“触摸屏”连接DualSense手柄,来游玩PS5游戏。 图源索尼 索尼于此前正式公布了...
-
14幅图看懂债市潮起潮落
超越城乡居民储蓄存款规模和A股总市值,拥有百万亿以上体量的债券。如同资产配置中的“米面粮油”,在投资中无处不在。相较于股票,您可能是更加委婉地参与其中,大部分人是通过银行理财、债券基金、保险、资管计划...
-
国庆黄金周运输今日启动,长三角铁路预计发送超250万人次
国庆黄金周运输启动。 9月27日,澎湃新闻记者从中国铁路上海局集团有限公司获悉,今天是铁路国庆黄金周运输首日,长三角铁路预计发送旅客逾250万人次,较2019年同期多发送60余万人次,增幅超三成。 ...
-
阿里拟分拆菜鸟在港上市菜鸟子公司已申请上百项物流专利
9月26日,阿里巴巴港交所公告,拟通过以菜鸟股份于香港联交所主板独立上市的方式分拆菜鸟。拟议分拆完成后,阿里巴巴将继续持有菜鸟50%以上的股份,菜鸟将仍为其子公司。 天眼查App显示,菜鸟网络科技有...