Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

李泽南作者

抖音的AI速度:平均每天上线超过100个新特效

在抖音,平均每五个视频投稿中就有一个使用特效,它已成为深受人们喜爱的表达方式。
随着 AI 算法的进步,手机短视频 App 上的特效越来越花哨,各种换脸、美颜应用层出不穷。去年 6 月 ,抖音推出了一款「变身漫画」的特效,引来各路明星和广大抖音用户争相体验,纷纷 Po 出了自己的漫画形象。漫画特效成为了当年的爆款,近 1700 万用户尝试使用,视频的播放量更是达到几十亿次。

在抖音的 App 上,用户只需轻轻一挥手就可以生成自己的实时漫画形象,从五官到发型、衣着,都实现了精准的转换。

打开特效,欧阳娜娜与她的猫咪都变身为高萌漫画形象。

一年多过去了,抖音又推出了哪些好玩的特效?在 7 月 28 日抖音与火山引擎联合举办的「智能特效」技术开放日上,抖音工程师们向我们进行了一番介绍。除了面向普通用户的工具,字节跳动还将最新的 AI 技术开放给了其他厂商,并鼓励 CG 设计师加入制作原创互动内容的行列。

在活动中,抖音发布了第一份《抖音特效数据报告》,向公众首次展示了其在特效应用领域的技术进展和落地情况:2021 上半年,抖音平台平均每天上线超过 100 个新款特效,平均每五个投稿中就有一个使用特效。

打造这些特效的是火山引擎、抖音特效团队和无数活跃在抖音中的特效设计师。

抖音特效的蜕变史

想给视频加个特技,其实并不简单,抖音在 2016 年主要还在依靠平面设计和第三方技术实现特效。到 2017 年,字节跳动组建了特效团队开始自研技术。「作出决定的原因是我们发现特效道具贴纸的出现,可以鼓励用户投稿,」抖音设计中心负责人王运恢介绍道。在当年,抖音就推出了狗头贴纸这个爆款产品。

很快,抖音特效团队使用的技术就从传统 CG 升级到深度学习。2018 年,抖音推出的控雨特效成为爆款。而在最近一段时间里,这样的爆款越来越多,特效团队也已经发展到了几百人规模。

正如人们所见,最近抖音上的热门是漫画脸特效,很多明星自发地使用了漫画脸,用户生成的漫画脸照片甚至成为了他们的社交账号头像。

这款产品结合了人工智能领域里流行的 GAN 技术。「我们第一次接触 GAN 是在一次内部的技术分享会上,」王运恢说道。「这种技术带来的创意很好,但在实践中遇到了一些困难——最初效果距离实用的程度相去甚远,用艺术形式来比喻的话应该是抽象派。为了最终能够在抖音里上线,整个团队最终决定以漫画风格迁移为方向。」

抖音特效团队几乎筛选了所有漫画风格,最后确立的风格包含多个元素,融合了日漫、国漫和韩漫。它的细节丰富,颜色通透,最重要的是形象更加阳光。

选完风格之后,工程师们引入算法模型,连续进行了两个多月的模型优化,更新迭代了超过 1000 个版本。最忙碌的时候同时使用了数百块显卡同时跑模型。

最终,在 2020 年 6 月上线的漫画脸特效仅用三天就收获了上千万的投稿,成为了抖音特效的一个里程碑。

据统计,仅 2021 年上半年就有超过 8000 万用户第一次在抖音投稿中使用了特效。

现在,抖音推出的特效覆盖装饰、互动、风格及场景四大类,还在帮助非物质文化遗产的传播,推出了戏曲头饰、京剧、越剧小生、川剧变脸等效果。在西安钟楼、重庆洪崖洞,北京三里屯等地标,人们还可以打开手机摄像头,观看 AR 装饰效果。

在抖音,做自己的特效

要做好一个视频特效工具,你需要实现目标点位检测和追踪,画面的理解,这就需要用到最新的计算机视觉技术。得益于深度学习近期的大发展,我们现在已经可以在手机端上实现实时的真实场景物体识别了,再加上物体分割、渲染效果,使用 CG 技术将虚拟图像叠加到真实场景中,我们就可以实现各类有趣的效果。

「在影视等行业中,AI 技术近年来的提升让特效越来越真实,但同时也提升了成本。在好莱坞视觉大片的制作中,特效的成本可能要占 60%,一秒的特效如果只用一台机器做渲染,可能需要 50 天。」火山引擎特效技术专家杨辉说道。

在抖音上这么做显然不行,工程师需要在尽可能使用先进技术的同时降低应用的门槛,让更多人能够参与到创作的行列中来。

背靠业内最多的用户,抖音的特效功能通过多轮产品迭代,拥有完善的组件模块化、适配、资源下发能力,大幅度提升了应用便利性。抖音特效的稳定性也很高,在接口层面的崩溃率不到 10 万分之一。

抖音还花费近两年时间从零到一打造了自己的渲染引擎,相比人们熟知的 Unity 和 Unreal,抖音引擎专门针对短视频 AR 特效,体积更小,平台适用范围更广,同时也具备高效的渲染效果。

迄今为止,抖音特效开放平台已经包含了 100 余种算法,覆盖多种场景,支持了字节的 40 多项业务。

字节跳动研发的高性能机器学习训练平台、端上压缩算法和异构推理引擎,未来都会通过火山引擎面向企业平台进行开放。在活动中,字节跳动宣布面向企业客户开放上万款抖音同款特效,包括猴哥、漫画惊讶脸等热门道具。现在,使用火山引擎的特效工具套件,一名设计师仅需五天就可生产出自己的 3D 特效。

在火山引擎的特效服务体系中,会有字节跳动的一线专家协助客户打造定制化的解决方案,已有的特效道具资源也被开放,包括拍摄资源、编辑资源和 MV 模板资源等。

除了短视频,视觉特效的应用场景还有很多。在火山引擎中,AR 看车、AR 试妆和虚拟形象(数字人)等技术已经落地。未来还有可能出现互动广告等全新交互形式,让人们获得更好的购物体验。

「随着 5G 时代到来,网络延迟降低,带宽增大,很多计算将不会在本地完成,我们可以把 CV 算法做得更精准,CG 效果更加酷炫。会出现端云协同,多人互动的新类型特效,未来也有可能会出现手机之外的新移动端入口,」杨辉说道。

产业短视频特效抖音
1
相关数据
字节跳动机构

北京字节跳动科技有限公司成立于2012年,是最早将人工智能应用于移动互联网场景的科技企业之一,是中国北京的一家信息科技公司,地址位于北京市海淀区知春路甲48号。其独立研发的“今日头条”客户端,通过海量信息采集、深度数据挖掘和用户行为分析,为用户智能推荐个性化信息,从而开创了一种全新的新闻阅读模式

https://bytedance.com
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

物体识别技术

计算机视觉领域的一个分支,研究物体的识别任务

推理引擎技术

推理机是实施问题求解的核心执行机构,常见于专家系统。它是对知识进行解释的程序,根据知识的语义,对按一定策略找到的知识进行解释执行,并把结果记录到动态库的适当空间中去。

模型优化技术

像卷积神经网络(CNN)这样的深度学习模型具有大量的参数;实际上,我们可以调用这些超参数,因为它们原本在模型中并没有被优化。你可以网格搜索这些超参数的最优值,但需要大量硬件计算和时间。改进模型的最佳方法之一是基于在你的领域进行过深入研究的专家的设计和体系结构,他们通常拥有强大的硬件可供使用。常见的简单模型优化技巧包括迁移学习、dropout、学习率调整等

5G技术

第五代移动通信系统(5th generation mobile networks),简称5G,是4G系统后的延伸。美国时间2018年6月13日,圣地牙哥3GPP会议订下第一个国际5G标准。由于物理波段的限制,5G 的网络也将会与其他通信技术并用,包含长距离的其他传统电信波段。

推荐文章
暂无评论
暂无评论~