抖音作为日活突破 6 亿的产品,其视觉特效一直为人们津津乐道,例如童年回忆照、微笑打分等,这写特效的成功都离不开背后的技术创新和技术实现。广受欢迎的智能互动特效为用户带来的沉浸式互动体验,是抖音保持高速增长的推力。
那么,其他产品能从抖音的增长路径中得到哪些借鉴呢?
9 月 16 日,「万娱自有引力 AI 互动新生长」火山引擎增长沙龙人工智能专场在北京举行。火山引擎智能互动特效解决方案相关负责人分享了智能互动特效帮助企业在多个环节实现增长的实践经验和产品方法论。
火山引擎 AI 解决方案负责人表示,火山引擎 AI 业务线主要通过三个层面为创作体验赋能。在基础层面,通过 AI 中台提供八大类的基础技术,为产品提供包括视觉、语音、音频等在内的多种能力。在产品层,则提供智能美化特效,智能视频编辑等能力,使企业在做直播和短视频时,可以快速一站式、智能化地搭建起客户端。在更上层,包括泛互、泛零售、金融、汽车、文旅等行业,也都可以通过同一套方案构建直播和短视频场景。
从产品方法论上来说,要实现 APP 等产品的增长,首先是要理解用户在产品中既是消费者、也是生产者的「双重角色」,比如在抖音、懂球帝等产品中,用户一方面会浏览与美食、母婴和足球、体育相关的资讯信息,同时也会贡献一些与这些行业品类相关的内容。
从某种程度上说,产品增长就是通过把用户从消费者转变为生产者来实现的。因为实现这一转变之后,生产者就可以给产品提供更多的内容、更好的使用体验。
在「从消费者转变为生产者」这一增长逻辑之下,抖音提供了相应的工具,进而也塑造了良好的产品生态。
图片与视频编辑
从移动端产品的发展来看,所有 C 端产品对于社区内的内容沉淀都有很大需求,所以从 2008 年前后,专门的移动端编辑工具开始出现。如今,直播和短视频两个场景越来越丰富,创作者的内容形式从文字图片发展到了视频内容。相应的,移动端编辑工具也从图片编辑(比如美图)覆盖到了视频编辑(比如剪映)。
CV 方面,火山引擎在拍摄端跟 CV 联动,跟 SDK、大模型效果打通,解决了拍摄素材源的问题,提高素材的质量。
从技术层面看,早期的移动端图片和视频编辑工具主要模仿 PS 工具进行简单的编辑(比如说调色剪裁)。后来工具融入 AI 能力和 CV 能力,可以实现手势、背景分割等效果,产生了智能创作的玩法,从之前的彩虹滤镜、萌趣贴图,到现在的动漫化以及皮克斯效果、日漫效果、中国风效果等等,都是使用技术能力对内容生产进行升级。
以字节跳动为例,在抖音之后顺势推出了剪映。同时,抖音通过特效、AR 等技术手段降低拍摄门槛,让拍摄和分享都更容易、更简单。数据显示,如今在抖音生产内容的作者中,每五个人中就有一个人使用了特效。如此高的使用率,说明这一环节对消费者转化成生产者来说的确是很重要的步骤。
那么,在各行业场景下,如何让视频创作更加智能,高效和多元地助力内容生态建设呢?
在音视频基础编辑方面,火山引擎的多轨编辑器可以实现在轨道区对每一个素材的加入都有可视化的界面,可以对它的每一段特效进行编辑;火山引擎的视频合拍最早用在抖音产品中,可以将两个视频合成一个视频,在同一个页面显示;在单帧识别方面,则可以做到对图像进行精细到 1 帧上的处理,帮助用户打造更为出色的视频作品。
在智能编辑方面,火山引擎开发了剪同款、一键成片、音乐卡点等功能,降低创作者门槛,并使用 AI 技术对视频内容进行理解,匹配场景里面适合的音乐和模板。其中的「剪同款」功能就是进一步降低创作者门槛,即便创作者没有创意,他只要有自己的素材,就可以复用别人的创意、把自己的内容展现出来;一键成片则是火山引擎基于对视频内容的理解,自动匹配适合画面场景的音乐和模板。
图片和视频编辑的成功增长,说明工具之于内容平台,是一个非常好的入口。目前,火山引擎已在创意商城中提供了海量的素材。涵盖 16 个大类、33 个小类,共计超过 20 万 + 的素材,方便创作者生产不同创意的视频。
算法与引擎相辅相成
在火山引擎,实现增长主要由效果团队和算法团队两个团队合力完成。前者负责如何增长以及在增长环节中做哪些工作,后者负责在算法和引擎等技术层面进行支撑。
具体来说,火山引擎将其算法部分拆解为算法适配、工程优化、场景落地三个层面。
算法适配是指对于场景需要有更深的理解。从理论上讲,不论是近距离或中远距离等不同距离的场景,还是仰视、俯视、平视等不同的视角,或者是人像、物理场景等不同的画面。都需要适配不同的算法才能真正「读懂」视频内容。体现在实际效果中,这会直接决定人在暗光场景下是否足够清晰,肢体只露半身是不是能达到足够好的准确率等等。
在工程优化方面,主要是指云渲染、芯片特殊加速等技术在 APU、NPU 以及智能网联车 SOC 等不同硬件条件下,能否做到更好的体验。
在场景落地方面,就是要在不同场景下解决不同的问题,比如电商场景中试穿试戴的精准稳定,自动驾驶场景中对前方物体的检测识别等等。
以上三个层面涉及到很多种算法,仅在 CV 领域就涉及到 20 多个一级项目和一百多个子小项。所以要想对场景理解得足够深刻,背后肯定要涉及到大量的技术人员。
在引擎部分,与游戏级别的渲染引擎产品普遍做得很重、性能消耗巨大不同,移动端的引擎要实现对多平台的支持,而且必须照顾到低端机型的计算瓶颈。火山引擎希望能在低端机型上带给用户同样优秀的体验。
比如云渲染的价值在于可以把性能不太好的手机终端解放出来,把整体的渲染工作放在云上,让更多的用户都能够用到视频编辑中的高级功能,扩大用户覆盖率。
当前,火山引擎对于如何将特效价值最大化还在进行持续的思考和探索。例如,火山引擎正在探索如何将这种智能互动特效能力迁移到大屏、IoT、智能车舱等新的终端设备上。
此外,在生态层面,火山引擎也已经在着手打造。比如相关特效已经上架大概一万多款,而且还在以非常高的频率保持更新;不断完善数据标签,把数据可视化同步到平台上,方便用户在云端或者离线使用;火山引擎的这一引擎既是一个下发平台,也是一个数据监控平台,中间会陆续加入 A/B 测试等工具,方便用户进行管理。构建完整的服务体系,提供一站式解决方案,将是火山引擎未来的发展目标。