Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

张妮美作者

《哪吒》逼跑特效师,未来AI能帮特效师逆天改命吗?

根据猫眼票房数据,截止8月7日12点,动画《哪吒之魔童降世》累计票房,已经突破27亿,一骑绝尘,成为国产动画电影的票房冠军。

爆火背后,有反常态的“生而为魔”人物设定;以及“若命运不公,就和它斗到底”的反叛精神;

还有一个不得不提的就是:特效!

导演饺子接受央视采访,谈到网络流传的「离职特效师」故事,“申公豹那个变身的特效,变成豹子头然后长毛。特效公司一员工磨了两个月,死活没有把那几秒钟磨出来。最后,深深受挫的他,干脆离职了。

我们只好再找一个新公司,结果正好是那个特效师跳槽去的那个公司。然后老板说,听说你之前就做这个镜头,已经很有心得了吧,这个申公豹咱还是交给你。最后他死活还是算把那个镜头给磨出来了。

所以如果有人问我,人能否改变自己的命运,我不晓得。但我晓得让申公豹长毛就是他的命。”

把特效完美的呈现出来,也是当代每一个中国特效工作者的使命。

2018年全球电影票房排名前十的影片中,其中特效片占比90%,总票房达100亿美元。

《哪吒》全片制作历时5年,1600多位动画制作人员倾力展现出共1800多个镜头,其中包含1400个特效镜头,77.7%的特效占比成为国产动画之最。

不过放眼国际,这个比例并不算特别多。

《复联3》全片有2680个特效,只有4个镜头没使用特效,而《复联4》则包含超过3000个特效镜头,所占比例可能达到99.85%。

电影特效,很难搞

电影特效是指由电脑软件制作出的特殊效果,一般包括声音特效和视觉特效。声音特效顾名思义是对声音的制作;而视觉特效就比较宽泛,如《狮子王》里动物的毛发,《变形金刚》中钻孔机破坏大楼的细节等等。      特效场景的制作往往特别艰难,比如《哪吒》影片高潮部分,哪吒与敖丙决战“火莲花融化冰面”的1个镜头只有短短6秒,为了达到最佳效果,用了半年才完成。

这个画面既要做到哪吒、敖丙人物的动作采集,又要做到火燃烧蔓延、冰火交融、冰蒸发等的特效,也就是说是需要在绿幕、动作采集等等技术采集画面之后,再在计算机上进行大量图形处理和渲染。

简单粗暴地理解,这些影视特效画面都是一帧帧的P出来的。想想公司里设计师的日常,我们就能明白这是一件多么浩大艰巨的任务。

AI 在影视特效的尝试

随着机器学习深度学习算法特效制作环节的应用,自动化操作比例大幅增加,在提高效率的同时,特效的艺术性也有了更好的保证。

“AI+特效”具体涉及动作捕捉、虚拟角色构建、模拟动力学和自然现象等等多种应用场景,一个个解释起来还是很复杂的。下面通过一些例子,帮助大家理解下。

风格迁移

最常见的一个场景当属风格迁移,即可以把一般图像转换成另一种艺术风格。

比如《梵高之眼》动画影片,就是借助风格迁移算法,将影片制作成为具备梵高画作的风格作品。通过对原视频进行单帧化处理,然后借助Caffe人工智能网络及模型,利用风格迁移算法,进行《梵高之眼》视频帧的分类镜头风格迁移动画制作。

值得一提的是,《暮光之城》女主角克里斯汀-斯图尔还曾参与写过一篇AI论文,描述了如何通过神经风格迁移对影片进行模仿画作画风的特效处理。

这篇论文于美国时间2017年1月19日发表在了学术网站arvix上,论文研究如何在电影“Come Swim”中 Neural Style Transfer 技术将电影画面改造成印象派风格。除克里斯汀外,共同创作者还有电影《Come Swim》制片人Starlight Studios和Adobe的一名员工 Bhautik J Joshi。

实时特效制作

电影涉及的镜头往往上千个,涉及的场景也非常多,因此制作的时候需要不同工作室合作进行设计和特效渲染,很多时间就浪费在了流程上。

如何加强不同特效工作室的协作能力,提高制作效率,是电影制作行业亟待解决的一个问题。

美国的Arraiy公司创造了一个计算机视觉机器学习平台,能够实现在离开拍摄片场前,就可以看到后期完成的场景是什么样子,省去了拍摄效果不好导致的重复性劳动。

举例来说,他们为英国伦敦顶级的视效公司The Mill 提供了一个实时跟踪解决方案,使制作团队能够在拍摄过程中将一辆逼真的数码汽车形象化。     该项目名为“人类种族”,并赢得了西格特图2017最佳实时图形和交互性奖。  精准的面部表情捕捉

《复仇者联盟3》里灭霸杀死自己的女儿卡魔拉后,从细微的面部细节,可以看到他极力隐忍的悲痛。也让很多观众感受到,灭霸的柔情一面。      灭霸的形象塑造如此成功,就要感谢一款名为Masquerade的机器学习软件。该软件由洛杉矶的特效巨头公司Digital Domain制作,创始人是《泰坦尼克号》导演詹姆斯·卡梅隆和斯坦·温云斯顿。

Masquerade软件通过两个垂直方向的高清摄像头采集面部数据,细致追踪面部的100-150个跟踪点。再通过计算机技术,训练、调整机器学习模型,输出成三维面部模型(动态),完美复制演员面部的动作,甚至是细微的肌肉运动。让虚拟角色的表情更逼真反应角色细微的心理变化。

如今,表情实时同步的技术也出现了,通过模型训练出的系统,可以高达90帧每秒的速度为高分辨率纹理和模型计算出的正确的组合方式。

也就是说,一名真人演员正在表演,而在一旁的虚拟场景中,一位数字人类化身也正以90帧每秒的速度,同步将真人演员的表情和动作一五一十的还原出来。

真实的场景画面

曾5次获得奥斯卡最佳视觉效果奖Weta公司,在制作「阿丽塔」女主角虚拟形象时,使用了两种基于深度学习的方法。

一种是人脸跟踪器使用深度学习,当由于拍摄原因脸部一部分被遮挡时,输入面部运动的信息作为训练数据,系统可以推算出一组可行的标记点,了解阿丽塔的运动数据。

另一种用于制作阿丽塔皮肤,通过训练数据产生正确尺寸和方向的皮肤和毛孔。       另外在电影《海底总动员2》和《汽车总动员3》中,也都利用了深度学习模型学习场景光线走向,自动纠正因光线不自然而形成的噪点。 发展现状

不过关于深度学习在电影特效上面的应用,很多业内人士还是持消极的态度。

因为,在实际的应用中,除了在光线去燥方面深度学习成为标配,其它领域都很少有使用。理由包括,一,传统的方法如今已经可以取得很好的效果,足够成熟,没有替代的必要性。二,深度学习需要大量的数据去训练,特效的规模还是太小,可能满足不了模型训练的要求。  

当然,以上论点还是过于着眼现实,AI参与特效制作整体还是大趋势。很多网友对此也十分期待,具体的方面在与:提高算力,加快渲染的效率;;以及通过AI 自动生成脚本程序。

无论如何,AI在特效行业的尝试,还只是小试牛刀。仅以现有的情况,来定义其局限性,还是过于固步自封。就像哪吒一样,未来如何,还是得自己尝试后才能决定。

最后,也祝愿国产的特效技术能够越来越好,借着《哪吒》的成功,作出媲美好莱坞的特效大片。

极验
极验

极验是全球顶尖的交互安全技术服务商,于2012年在武汉成立。全球首创 “行为式验证技术” ,利用生物特征与人工智能技术解决交互安全问题,为企业抵御恶意攻击防止资产损失提供一站式解决方案。

产业机器学习深度学习风格迁移计算机视觉
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

网络流技术

在图论中,网络流(英语:Network flow)是指在一个每条边都有容量(capacity)的有向图分配流,使一条边的流量不会超过它的容量。通常在运筹学中,有向图称为网络。顶点称为节点(node)而边称为弧(arc)。一道流必须匹配一个结点的进出的流量相同的限制,除非这是一个源点(source)──有较多向外的流,或是一个汇点(sink)──有较多向内的流。一个网络可以用来模拟道路系统的交通量、管中的液体、电路中的电流或类似一些东西在一个结点的网络中游动的任何事物。

推荐文章
暂无评论
暂无评论~