Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

太浪作者

「无中生有」的AI,除了换脸,也有正规用途

一篇文章的文字内容在轻易被机器识别后,成就了谷歌、百度这样的文字搜索互联网巨头;如今,视频内容大爆发,机器在识别视频内容并读懂视频后,是否也会诞生相应的巨头?

将AI用于视频广告领域的创业公司中,已经出现了两只独角兽。

整理、撰文 | 太浪

还记得《哈利波特》中挂在墙上的名画动起来的场景吗?

近日,三星用AI「复活」了蒙娜丽莎,让她「张口说话」了。

这一作品出自三星莫斯科 AI 中心和 Skolkovo 科学技术研究所的研究人员之手。他们在一篇论文中对使用的技术做了详细介绍。(蒙娜丽莎.gif:三星新研究用一张图像合成动图,无需3D建模

简而言之,就是,他们使用Few-shot learning的方法,创建了一个模型,只用了那幅由达芬奇创作、现收藏于法国卢浮宫博物馆的著名油画《蒙娜丽莎的微笑》,便合成了蒙娜丽莎开口说话状态的头部动画(GIF),且并没有在这一模型采用 3D 建模等传统方法。

他们用同样的技术,让照片上的玛丽莲梦露和爱因斯坦也动了起来。

这一技术得到了一些网友的夸赞,「神奇」、「太强了」,同时也引发了部分网友的担忧,如果自己的照片被盗用,该怎么办?「我们真的需要这个东西吗?它带来的弊大于利。」「刷脸支付啥的岂不是更不安全了?」

之前大火的AI换脸术(使用deepfake换脸模型),就因为可能侵犯肖像权、危害社会公共利益乃至国家安全,引起监管部门的关注。

民法典人格权编(草案)二审稿作出规定:任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。其他人格权的许可使用和自然人声音的保护,参照适用有关规定。

目前,三星的这一技术尚未开源。

技术是把双刃剑,关键看掌握技术的人如何使用。

「无中生有」的AI,也有正规用途。比如,将其用在视频广告领域,就可以解决视频平台盈利与用户体验间的矛盾。

广告是视频最重要的变现手段之一。但过高的广告加载率、过于粗暴的广告展现形式,都影响着用户体验,而用户体验的降低以及由此带来的用户流量减少,则有可能使媒体进入商业化过度开发,用户体验进一步降低的负循环中。

AI技术应用于营销领域,将带来更原生的广告形式、更精准的广告投放、更实时的投放优化等,为平衡商业变现与用户体验之间的矛盾,提供新的有效的解决方式。

其中,用AI技术制成的原生视频广告已经成为一种新的内容营销方式,可以将文字、图片、影像等任意品牌元素自动化、标准化、批量化植入到原生内容中,形成商业闭环。

1  用AI打开视频内容的黑盒子

要实现这一点,首先要「读懂」视频。

视频结构化、图像识别与处理等技术的发展,为AI「读懂」视频创造了条件。

视频结构化技术是一种将视频内容中的重要信息进行结构化提取的技术,利用它对视频内容按照语义关系,采用时空分割、特征提取、对象识别、深度学习等处理手段,组织成可供计算机和人理解的文本信息或可视化图形信息。这一技术融合了计算机视觉图像处理深度学习模式识别等前沿AI技术。

图像识别与处理技术包括对视频中动态物体的识别和追踪、像素计算、自动化图形建模和渲染等。

视频结构化技术与图像识别与处理技术相结合后,便可以进行广告的智能投放了——在对应的视频中自动投放与内容相关的各种形式的广告。

影谱科技便是这样一家,通过AI技术将品牌广告转化为结合视频内容和场景的原生广告的公司。他们的广告展示形式包括:产品海报、道具、动态视窗、神字幕、产品logo及高端定制广告等。

影谱科技案例展示,来源:影谱科技官网)

影谱科技成立于2009年,最初名为北京酷威互动媒体科技有限公司,2011年更名为北京影谱互动传媒科技有限公司,2015年又更名为影谱科技(Moviebook)。

实现广告与视频内容的无缝衔接,离不开影谱科技的两款产品:其于2015年5月正式上线的「植入易」、「Video易」。

植入易,通过播放器来实时抓取分析正在播放的视频源,把视频源进行数据化的计算分析,包括景深、颜色、光源位置做出摄像机和肉眼的模拟,在播放器上叠加广告素材实现两个媒体流同步播放,使受众在观看时,有拟真的拍摄广告观感。

采用了影谱独有的云视窗实时植入技术,在视频制作完成后将品牌元素与视频内容无缝结合,再造视频原生场景,使原生内容再造为有效的商业价值。

资料显示,植入易可以对热播栏目、影视剧,做到植入广告的千人千面。比如,实现不同的媒体策略、同一部电影同一个场景,男性看到汽车、3C类产品,女性看到化妆品、时尚服饰。

Video易,对视频内容进行碎片化、标签化、场景化分析处理,并可对视频中的物体、人物等各类视频元素进行识别与跟踪,且支持在视频中进行自定义标点,以实现灵活品牌曝光、互动、外链转化、场景化营销等商业需求。可在网络流媒体中,通过云视层实现品牌展示、用户互动、交互外链等商业化功能。

综艺节目《中餐厅2》中的广告,便是由影谱科技的技术逼真植入的,如,客人手机无痕替换为美图手机;苏有朋手机界面无痕替换为美拍直播界面;空境无痕逼真植入VIPKID品牌元素;桌上逼真植入美图手机,并创意动态展示美拍logo等。

芒果TV广告营销中心总经理方菲曾在采访中表示:「芒果TV跟影谱科技共同合作的人工智能广告形式,已经完成了实装,支持批量化全场景投放,非标素材生成,整个投放像DSP广告一样自动化投放的可能性,只需要建立一个任务,就能在数百剧集中完成一键植入,植入包含传统包装类,节目内曝光类,以及简单地情节交互类,将长尾流量、会员流量充分利用。」

影谱科技曾披露,在产品上线第一个完整年度开始,便实现了持续盈利。凭借「植入易」、「Video易」两种产品,影谱科技2016年营收3.08亿,扣非净利润3061万;2017上半年营收2.74亿,扣非净利润2554万。2018年,营收10到20亿。

极链科技Video++也是一家靠AI广告起家的创业公司。

2012年,还在读大学二年级的金明在美国波士顿创建了视频AI技术及互动视频系统。2014年10月,他回到上海,创办了Video++。而后,一路推出Video AI、Video OS、ASMP等产品。

他们的思路是:首先,通过独家信息处理技术(VideoAI)将视频结构化,自动扫描视频中的场景,搜索视频内中互动广告可投放的点位;然后,借助广告创建程序(VideoOS),自动植入气泡对话、卡牌收集、视频红包、视频内投票等互动广告。最后,实现ASMP(AI Scene MarketingPlatform,AI自动化广告投放平台),提供智能化投放策略和批量化投放。

其Video AI技术,能基于视频内容进行包括人脸、场景、物体、品牌、地标、动作、表情、声音在内的8项维度的数据结构化分析。

根据网上公开资料显示,Video AI已经积累的知识图谱覆盖了2012-2018年全网热剧、综艺视频,已经结构化视频时长数十万小时,积累高质量场景(场景市场超3秒以上,屏幕占比5%以上)数量4000多万。

Video++案例展示(来源:Video++官网)

他们曾为长隆乐园提供服务,投放的标签是游乐园、海洋沙滩、水族馆等,用户可以直接点击买长隆乐园的门票,广告转化率达到了百分之三,而行业一般转化率仅为是千分之四,提升了近8倍。」(另一种说法是:点击转化率达到3.9%,现在平均转化率是千分之二,将近提升了10倍。)

2  寻求差异化

对比之后可以发现,上述两家公司的业务十分类似,都是致力于用AI将品牌广告无缝衔接到视频内容中去、并进行批量投放。

「技术能完成的广告植入方式,只是道具、场景植入。随着植入营销的高速发展,越来越多的客户会要求情节与品牌调性的吻合、使用过程和理念传递,这些不是道具场景可以完成的功能。」一位广告植入行业的资深管理人员曾在接受媒体采访时对他们的业务发出质疑。一些传统广告行业高管也曾表态,影谱科技和video++提供的视频技术广告,与传统广告业务更多是互补关系。

两家企业也在积极探索其他业务线。据笔者观察,两家仍以「AI广告」为核心业务,但影谱科技更偏融媒体、Video++更偏电商。

「在美国硅谷有一个公司叫脸谱(Facebook),Facebook希望用社交和全世界联系;中国有一个企业叫影谱,它想用智能影像生产、用计算机视觉,让世界知道中国的影像生产技术是什么样的……」影谱科技副总裁吴霞曾公开表示。

新产品的发布,能直接隐射一个公司在新方向上的探索。

2018年,影谱科技发布机器自动化生产视频内容引擎 MAPE(Moviebook Auto-Production Engine)。MAPE包括景深测算反推技术与子像素反轨技术、视频叠加技术、优化计算技术及其他技术的完整技术框架,拥有完整的视觉识别(MCVS)、视频结构化(Auto-structuring Video)、自动化视频生产AGC(Auto-Generating Video Content)三大AI组件。

影谱科技一直深耕影像领域。前期,他们以广告的形式进行商业化,将所生产出来的相关智能影像推荐的位置和商业化的位置分销给国内各大广告公司和代理商。接着,他们要把整个生产应用到各个行业,包括短视频、长视频、UGC、PGC等,放到广告营销、智能影像交互等领域。

针对场景的深入应用,影谱科技的MAPE推出了几款行业落地解决方案:

面向泛文娱领域应用,MAPE提供包括短视频生产MACS、智能影视轻工业MALF、信息可视化三套AI技术组件,旨在通过智能分析、理解视频内容、视频内容自动化生产等助力行业技术迭代,帮助媒体和娱乐公司保持竞争力。

面向媒体平台提供智能媒体方案MAAM,实现信息的智能原生、内容创造、内容审校、新闻可视化等不同应用。

今年两会期间,影谱就利用智能媒体方案MAAM,可视化、智能化地呈现政协委员履职作业。

2013年,影谱科技从老鹰基金处获得第一笔融资。2018年8月,先后获得来自商商汤、软银中国、中金、建银等机构的资本入股,资金总规模超20亿元。

根据IT桔子的数据,影谱科技在完成D轮13.6亿元融资后,估值达到68亿元。最近一轮融资是在今年2月,获 TR Capital 数亿元战略融资。

(TR Capital 是由银行间交易经纪商 ICAP PLC 旗下 Link Asset & Securities 和 Tikehau 联合创立的国际投资机构,专注投资二级私募股权的基金管理。出资方包括法国政府的 Proparco、瑞士的 CapPrevoyance、法国东方汇理资产管理、麦肯锡等等。此前 TR Capital 在亚太区的直接投资项目包括 Flipkart、君实生物、Evisu、Bilibili 等。)

Video++则是以AI广告为核心业务,同时进行线上线下电商全产业链布局。

2018年10月,他们开源了Video OS开源,并宣布永久免费,使之成为所有APP可用的开源小程序系统。

移动互联网平台可通过接入API SDK,加入到video++的视频新商业场景池,创建个性化的视频互动系统,从而实现红包、卡牌、投票、虚拟植入等功能性互动营销。

为了获取更多数据,他们启动了「流量星球计划」,目的是提取视频中的内容场景,加入到统一的场景库里。视频流量主可以免费加入「流量星球计划」,并且永久使用全套AI广告服务,每年还将获得价值20万元的1000个小时时长的AI智能分析扫描。

上述两个举措,也可以帮其揽来更多用户,及加快其产品迭代的速度。

在电商领域,Video++搭建了V+MALL 视频电商系统,为用户提供基于内容衍生的视频内电商购买方式,实现了视频播放中无需跳转即可完成购买的功能。

「传统的电商本质上是在做搜索,都是有非常明确的购买需求,我们称之为目的地电商。我们做的事情本质上是通过场景触发购买,叫场景电商。」video++联合创始人董慧智曾在接受媒体采访时表示,在视频场景的黑盒子内做互动性的商业,过去,这个黑盒子没有人打开过。所以对于大平台来说,纯粹是增量的模式。同时,场景匹配有很好的转化率,也可以提升品牌的好感度,对于广告主、电商来说,也很有吸引力。

《2018中国网络视听发展研究报告》对其说法进行了回应,《报告》指出,电商+短视频,已经成为一种新的商业模式。

此外,他们还与内容方合作,孵化头部热点IP,辅之以 品牌策划、推广、文娱销售等服务,实现内容、电商与IP经济的整合。

2017年,Video++完成3.49亿元融资,阿里巴巴、云锋基金、旷视科技领投,国投、头头是道跟投。根据IT桔子的数据,Video++在完成C轮7.21亿融资后,估值达到30亿元。该公司曾披露,2018年12月,单月营收突破1亿元。

3  阿里、旷视也曾入局

2016年前后,这个赛道曾涌入过一些平台和创业公司,包括阿里、商汤、旷视。「但新入局的,很快都放弃了。」

极链科技联合创始人董慧智曾在采访中回忆了这段历史,「大部分是从别的行业迁移过来的算法,叫过滤式算法,结果很快发现根本没法用。因为过滤式算法本质是一张张图片的识别,不断抽真。…… 到了场景广告、场景电商的视频领域,比如要投放聚餐场景,必须要识别一个连续的片段,告诉你这个20秒钟是个聚餐场景,那我这15秒钟的投放才能有的放矢。如果你用过滤式算法,只能告诉我单独某一帧里有什么,完全没法投。」

如今,阿里、旷视转投Video++。

商汤CEO徐立曾表示,这种无中生有的广告位,挖掘了新的广告模式和投放方式。

2017年10月,商汤联合一下科技(旗下包含一直播、小咖秀、秒拍等产品)、Star VC成立了星广互动,徐立任星广互动CEO,瞄准长尾的UGC视频领域。

商汤科技和星广互动,以SLAM(即时定位与地图构建技术)对视频内容进行深度理解,对各类视频场景的三维结构进行定位和重建,在视频中的桌面、地面、墙面等加入虚拟物品的AR效果。他们想像投放贴片广告一样把AR广告投放在视频中。

星广互动还能为人物视频提供实时替换背景的效果,无需绿幕,不需环境特殊配合,为直播、短视频等场景创造出全新的植入式广告位。

商汤科技搭建了SenseAR增强现实技术平台,服务各类短视频、直播等UGC视频平台,客户市场占有率达70%以上,接入APP日活跃用户过亿。

此外,商汤也跟投了影谱科技的D轮融资,并与影谱科技签订独家战略合作协议,表明双方将在增强现实、视频分析等底层AI技术展开深度合作。

4  时代潮流下的产儿

涌入这一赛道的其他创企还包括:

成立于2013年,专注于图像识别以及视频内容分析的公司Viscovery。

这家公司2015年8月左右开始切入视频领域。基于计算机视觉人工智能的技术,通过同时识别视频中人脸、图片、文字、声音、动作、物件和场景七个方面,理解视频内容,然后判断好的广告投放点,从而指导广告主投放与视频内容有关的广告。

此前,Viscovery主要是通过识别C端用户上传的产品图像,倒流到电商平台,客户主要是各电商平台和零售业大厂。由于C端用户拍摄、扫描的习惯难以养成,转换到视频识别方向。识别视频,进行精准广告投放的领域相对来说比较成熟。

Viscovery的投资方中有软银中国资本、阿里巴巴创业者基金等,A+轮融资超千万美元。

成立于2017年4月的周同科技,投资方包括洪泰基金、宣亚国际、快手战投、微播易等。Pre-A轮融资千万元;A+轮获宣亚国际超2000万元融资。宣亚国际曾表示,投资周同科技是其在布局智慧营销战略上的重要一步。

周同科技以数亿级图像训练的深度学习算法模型为基础,具有内容分析、智能加工、数据管理三项技术能力,为视频平台、内容创作者等视频行业参与者提供定制化的技术解决方案,以及提供数字营销解决方案(程序化创意、定制化匹配、多样化形式、个性化分发)。

垂直赛道,玩家却众多,且都获得了资本的青睐,背后离不开这样一个时代大背景:网路视频已经成为潮流,视频内容已经成为新的流量入口。

《2018中国网络视听发展研究报告》显示,网络视频已成为网络娱乐产业的核心支柱。预计,视频内容行业的市场规模将达2016.8亿元,同比增长39.1%。

一篇文章的文字内容在轻易被机器识别后,成就了谷歌、百度这样的文字搜索互联网巨头;如今,视频内容大爆发,机器在识别视频内容并读懂视频后,是否也会诞生相应的巨头?

毕竟,「读懂」视频后,AI能做的,不只是制作原生广告。

根据Forrester发布的《2019-2020 VideoAI技术预测》报告,90%的中国视频平台正在借助专业的视频识别技术以对视频进行数据结构化,在视频内容原创、视频营销、视频结构化商用、视频大数据领域、机器人流程化等领域产生财务绩效,通过自动化影像加工辅助技术、生产技术为产业升级提供动力。

产业ai技术
2
相关数据
商汤科技机构

作为人工智能软件公司,商汤科技以“坚持原创,让AI引领人类进步”为使命,“以人工智能实现物理世界和数字世界的连接,促进社会生产力可持续发展,并为人们带来更好的虚实结合生活体验”为愿景,旨在持续引领人工智能前沿研究,持续打造更具拓展性更普惠的人工智能软件平台,推动经济、社会和人类的发展,并持续吸引及培养顶尖人才,共同塑造未来。

http://www.sensetime.com
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

即时定位与地图构建技术

在机器人映射和导航中,同时定位和映射 是构建或更新未知环境地图,同时地图中跟踪机器人在其内的位置。SLAM算法是针对有限可用资源量身定做的,因此不是最优解,而是在于操作合规性。 自行驾驶汽车,无人机,自主水下机器人,行星探测器,新兴家用机器人乃至人体内都采用了SLAM的方法。

增强现实技术

增强现实,是指透过摄影机影像的位置及角度精算并加上图像分析技术,让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。这种技术于1990年提出。随着随身电子产品运算能力的提升,增强现实的用途也越来越广。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

数据管理技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程,其目的在于充分有效地发挥数据的作用。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

网络流技术

在图论中,网络流(英语:Network flow)是指在一个每条边都有容量(capacity)的有向图分配流,使一条边的流量不会超过它的容量。通常在运筹学中,有向图称为网络。顶点称为节点(node)而边称为弧(arc)。一道流必须匹配一个结点的进出的流量相同的限制,除非这是一个源点(source)──有较多向外的流,或是一个汇点(sink)──有较多向内的流。一个网络可以用来模拟道路系统的交通量、管中的液体、电路中的电流或类似一些东西在一个结点的网络中游动的任何事物。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
极链科技机构

极链Video++作为全球视联网-视频商业操作系统的构建者,服务数百个品牌、商家、合作伙伴,实现客户价值倍增。以AI技术赋能视频中的信息,链接互联网信息、服务、购物、社交、游戏五大模式,实现基于视频的新互联网经济体。

http://www.videopls.com
百度智能云机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://www.baidu.com
Samsung Group机构

三星集团是韩国最大的跨国企业集团,同时也是上市企业全球500强,三星集团包括众多的国际下属企业,旗下子公司有:三星电子、三星物产、三星航空、三星人寿保险、雷诺三星汽车等,业务涉及电子、金融、机械、化学等众多领域。 三星集团成立于1938年,由李秉喆创办。三星集团是家族企业,李氏家族世袭,旗下各个三星产业均为家族产业,并由家族中的其他成员管理,集团领导人已传至 李氏第三代,李健熙为现任集团会长,其子李在镕任三星电子副会长。

旷视科技机构

旷视成立于2011年,是全球领先的人工智能产品和解决方案公司。深度学习是旷视的核心竞争力,我们打造出自研的AI生产力平台Brain++并开源其核心——深度学习框架“天元”,实现了算法的高效开发与部署。在持续引领技术进步的同时,我们推动AI产业的商业化落地,聚焦个人物联网、城市物联网、供应链物联网三大赛道,为个人用户带来更出色的美学体验与安全保障、让城市空间更有序、并帮助企业实现工业、仓储数字化升级。我们提供包括算法、软件和硬件产品在内的全栈式、一体化解决方案。

https://www.megvii.com
影谱科技机构

影谱科技以人工智能产业化为主要目标,是国内智能影像生产技术提供商及应用方案提供商,面向媒体、文化、零售等多行业领域提供智能解决方案。通过ACM+AGC+ADT三重商业增长引擎,为产业链广泛赋能。 公司通过技术创新积极实施企业创新战略,带动产业实现智能化升级,先后获得中国智能科学技术最高奖“吴文俊人工智能科技进步奖”和中国自动化领域最高荣誉“中国自动化学会钱学森奖”、全国技术市场领域最高荣誉“金桥奖”。

http://www.moviebook.cn/
相关技术
一下科技机构

一下科技是行业领先的移动视频生态矩阵平台,旗下秒拍、波波视频、小咖秀三产品。2013年秒拍上线成为微博官方独家短视频应用;2015年7月,小咖秀迅速登顶APPStore,掀起全民对嘴表演的风潮;2016年一直播上线并成为微博官方战略台作伙伴;2018年波波视频一跃成为短视频赛道上用户增速最快的APP。目前,秒拍用户已超过3.1亿。视频日播放量峰值达30亿,波波视频人均在线时长达到66.9分钟,居行业第一。

http://xiaokaxiu.com/
暂无评论
暂无评论~