Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

快手AR变脸爆红的坚实后盾:自研3D引擎与AI技术平台

近日,相信不少人的社交媒体都被快手的“AR尬脸舞”刷了屏。这个名为“AR变脸”的特效,能够将用户的脸部照片绑定在三维模型上,并通过AR技术,让这些“囧”态各异的3D模型在实拍场景中大跳网红舞蹈。搞笑的动作配合着耳熟能详的背景音乐,喜感与萌感齐飞,让广大用户欲罢不能,大开脑洞肆意“玩坏”自己和亲友。

业界首家实现AR变脸

据了解,这也是国内首家实现直接在AR模型上进行相册变脸贴合的案例。这样一个轻松搞笑的产品背后,支撑其运转的技术研发却不容小觑,结合了3D引擎、AR算法、深度学习推理引擎等诸多业界最尖端前沿课题。而不同于短视频行业绝大多数企业采用第三方技术供应商,快手的这些技术研发,完全是公司内部团队自身攻克的。

自研3D引擎性能强悍

首先,要实现“AR变脸”产品,需要一个功能强大的3D引擎,在其基础上添加编辑器模块、渲染模块、肢体模块、声音模块等,来实现模型精致而自然的光感、材质,并让用户可以自如地拖拽移动模型。据了解,快手拥有自研3D引擎,是亚洲业内最早研发该技术的企业,通过技术团队的近两年的打磨,如今3D引擎支持多样灵活的玩法,并且能够实现产品快速上线、迭代,今年春节火爆一时的AR版“胡巴”,同样也诞生在快手自研的3D引擎。而目前在国际上实现了这一技术的科技企业屈指可数,仅Snapchat、苹果、Google等支持相关功能。

原创YCNN深度推理学习引擎打造核心能力

除了3D引擎,要让模型真正在现实世界“扎根落地”,要让AR算法实现不断优化,在手机端实现运行,均需深度推理学习引擎的支撑。同时,“变脸”功能也需要对用户的照片进行脸部识别,以精准分割出脸部图像贴到模型上,也需要依赖深度推理学习引擎。相比于很多企业使用开源平台,快手自研了YCNN深度推理学习引擎,针对不同手机的硬件架构做了高度的适配和性能的优化,能够使用CPU、GPU、NPU、DSP等多种运行模式,根据评测,快手YCNN运行速度比已知的引擎高出50%,达到了亚洲乃至全球业界的顶尖水平,才能保证了用户在拍摄视频的时候能够实时的使用各种魔法表情、AR等新奇的特效,并且不断开发出更多有趣复杂的玩法。

多媒体处理框架大幅提升技术普适性

快手拥有数亿注册用户,日活超过1亿,想让全部用户都能够流畅地体验到“AR换脸”的乐趣也并非易事。中国网民的终端设备差异极大,其中近30%的用户仍在使用双核或单核处理器的低端机型,为手机视频处理适配带来非常大的技术挑战,更不用说实时AR效果。为了解决这一问题,快手自研了一个高性能多媒体处理的框架,包括视频处理、音频处理、音视频编解码、2D、3D动画的能力,能够根据机型动态的选择分别率、码率、帧率尽量发挥设备最大的能力,不论是iPhone用户还是安卓用户,都可以拍摄出清晰流畅的视频,体验最佳的特效效果,大幅提升了技术应用的普适性。

一直以来,人们对快手的认知更多停留在“最大的短视频”平台,其实快手更是一家科技尤其是AI技术领先的企业,快手创始人兼CEO宿华曾表示,“技术驱动”是快手最重要的标签。领先的技术支撑的背后是强大的人才队伍,目前快手员工中工程师团队占5成以上,并拥有实力不俗的研发的团队,成员多来自斯坦福、卡内基梅隆、清华、北大等全球知名学府,及Facebook、谷歌、苹果、微软等国际科技巨头。秉承着“用科技提升每一个人独特的幸福感”的使命,快手正在不断拓展技术边界,为全球用户带来更优质的记录体验。

产业
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

推理引擎技术

推理机是实施问题求解的核心执行机构,常见于专家系统。它是对知识进行解释的程序,根据知识的语义,对按一定策略找到的知识进行解释执行,并把结果记录到动态库的适当空间中去。

推荐文章
暂无评论
暂无评论~