Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

贾伟作者

「AI 合成主播」再度升级,新华社联合搜狗进行AI时代的媒体转型

2月19日,在新华社新媒体中心与搜狗公司战略合作签约仪式上,搜狗公司与新华社新媒体中心联合发布了全球首个站立式AI合成主播,新的AI合成主播将从过去的“坐着播新闻”升级成结合肢体动作的“站立式播报”。升级及战略合作,无论对搜狗还是对新华社来讲都具有重要意义。

北京时间 2 月 19 日,在新华通讯社,搜狗公司与新华社新媒体中心联合发布了全球首个「站立式 AI 合成主播」,并进行了战略合作签约。

这距离在第五次互联网大会上首次发布「AI 合成主播」不过三月有余。短短的时间里完成技术升级并将合作上升至战略层面,可以看出作为 AI 技术强者的搜狗与作为国内最重要媒体的新华社在「人工智能时代对媒体转型」的理念上具有高度共识。

升 级

所谓「AI 合成主播」,从受众的角度来看与新闻主播无异,但其背后却是由 AI 技术驱动,一旦有了新闻素材则完全不需要人类参与即可完成整个新闻播报任务。从技术角度来看,「AI 合成主播」是一种对文本、语音、图像的多模态融合的框架(搜狗将之称为「搜狗分身」技术),通过提取真人主播新闻播报视频中的声音、唇形、表情、动作等特征,运用语音、唇形、表情、动作的合成以及深度学习等技术联合建模训练而成。这项技术能够将所输入的中、英文文本自动生成相应内容的视频,并确保视频中音频和表情、唇动保持自然一致,展现与真人主播无异的信息传达效果。

这一技术的出现,一方面大大减轻了新闻主播的工作量,降低了新闻播报的成本;另一方面也使得新闻播报更加快速,更加具有时效性。

据搜狗 CEO 王小川介绍,自第五届互联网大会上首个 AI 合成主播发布以来,首批入职新华社的一中一英两位 AI 合成主播(以新华社邱浩和张涛两位主播为原型)在三个月内已生产了 3400 余条新闻报道,累计时长达 10000 多分钟,参与了包括第五届世界互联网大会、首届进博会、2019 春运、春节等若干重要事件的报道。邱浩和张涛两位主播的工作重心发生了显著的变化。

升级前AI合成主播

但不得不承认,即使搜狗在语音处理和唇语识别等领域具有较为先进的技术优势,AI 合成主播(或者「搜狗分身」)的技术仍有待改进。这主要表现在两个方面,一是高逼真度,二是低成本个性化定制。前者是针对用户体验来讲的,从新华客户端的播报内容来看,AI 合成主播在报道中的语音仍然较为僵板,面部表情及口型会经常出现对不上语音内容的情况。后者则是针对作为技术生产方的搜狗来讲,如何快速且仅需用户少量真实数据来生成一个稳定、高精度的 AI 模型,对搜狗在未来的商业拓展至关重要。

针对以上两点,本次升级的内容主要体现在三个方面:

第一,语音合成方面,新版的 AI 合成主播采用了最新的 waveRNN 波形建模技术,让语音合成效果更加逼真,更具有真实情感和表现力。

升级后AI合成主播「新小浩」

第二,视频图像上,新版的 AI 合成主播形象有较大变化。一方面技术提升,实现了更加逼真的表情生成和嘴唇动作预测能力,另一方面加入肢体动作合成技术,让主播从过去的「坐着播新闻」升级成结合肢体动作的「站立式播报」。

第三,成本方面,大大降低了 AI 合成主播的定制周期,并提升了合成效果和稳定性,仅靠少量用户真实音视频数据,即可快速定制出高逼真度的分身模型。这意味着媒体可以更快速、方便地借助 AI 技术在融媒体转型、新闻时效性、跨语种传播能力等领域进行升级。例如本次除升级原有的 AI 合成主播(以新华社主播邱浩为原型,取名「新小浩」)外,同时还发布了全球首个 AI 合成女主播(以新华社主播曲萌为原型,取名为「新小萌」)。

首个AI合成女主播「新小萌」

据王小川介绍,升级后的 AI 合成主播将投入到 2019 年新华社全国两会的报道筹备中,并将在搜狗搜索、输入法等资讯平台上与用户见面。

战略合作

「搜狗分身」技术在具体场景中的不断改进对搜狗来讲具有重要的意义。

据「智东西」对搜狗语音交互技术中心总经理王砚峰的采访,新华社的 AI 合成主播是「搜狗分身」技术的第一个落地场景。我们完全可以想象,这项技术除了在新闻播报领域的应用外还有更广泛的应用空间可以探索。例如在线教育场景中,「搜狗分身」技术可以快速生成「AI 合成教师」,以提升教育行业的效率,同时增强与用户的互动性。此外,在线医疗、虚拟助手、在线法律服务等等都是很好的落地场景,而在这些场景中「分身合成」的市场还几乎一片空白。搜狗作为这一多模态融合技术的领先者,快速提升「分身」逼真度并降低合成成本,将决定其能否开拓并占领这一处女市场。

搜狗与新华社将「AI 合成主播」这一产品合作提升到战略合作层次,将场景合作机制固定化,显然将有助于搜狗在实践中提升自身技术的发展。

而另一方面,在人工智能时代进行智能化转型的新华社一直以来也在积极拥抱技术变革。

三年前,也是在 2 月 19 日,习近平总书记视察了新华社,并对媒体在新时代的发展做出了重要的部署。他指出,要利用信息革命成果,推动媒体融合向纵深发展,做大自强主流舆论;要探索如何将人工智能运用到新闻采集、生产、分发、接收、反馈中,全面提升舆论引导力。自此以后,新华社先后与多家 AI 企业合作推出新闻撰稿机器人「快笔小新」、「现场云与媒体大脑」智能生产平台等,大大改变了媒体内容生产、报道和传播的方式。

据中国新华新闻电视网(CNC)董事长、总裁姜岩介绍,「自首个 AI 合成主播问世以来,CNC 每天用其制作几十条中、英文视频稿件,在多个端口播放,受到用户和受众的广泛的关注。在这方面我们超过了 BBC 和 CNN,走到了前面。我们认为人工智能是我们弯道超车、换道超车的重要法宝。……对于我们而言,既然未来已来,我们就绝不能走『先污染后治理』的老路,因此把握当下、规划未来,使人工智能媒体应用趋利避害至关重要。特别是现在就要考虑如何认识和加强在人工智能媒体应用领域的领导作用,从一开始就牢牢把握主动权。」

「未来已来」,这个词有着深刻的含义,它意味着对技术变革的深刻把握以及主动拥抱技术的理念。新华社与搜狗公司签署战略合作,双方将各自的报道优势、技术优势和产品优势融合,当属智能时代传统行业与技术企业「强强联合以求共赢」的典型案例。


参考:

[1] 携新华社发布AI虚拟主播 搜狗要靠这个技术“克隆”人类(智东西)

[2] 打造新华社「AI合成主播」的“分身术”为何物?(雷锋网)

产业AI合成主播搜狗搜狗分身
2
暂无评论
暂无评论~