AAAI 2020 开幕:百度28篇论文入选,涉及NLP、机器学习、视觉等领域

立春刚过,人工智能行业迎来2020年的第一个顶级学术大会,2月7日,AAAI 2020在美国纽约拉开了帷幕。本届大会百度共有28篇论文被收录,较AAAI 2019的15篇入选成绩提升近一倍,本次入选论文涉及机器学习自然语言处理计算机视觉等多个领域,原计划有多位百度重量级科学家、研究者将受邀赴会发表演讲。受疫情影响,众多中国学者将缺席本次大会,百度作为中国人工智能行业“头雁”,通过积极的远程参与,向世界展示技术、学术能力,提振中国AI开年信心。

自1979年成立至今,AAAI已举办34届,大会汇集了全球顶尖的人工智能领域专家学者,可谓是人工智能行业的科研风向标。本届会议共收到的有效论文投稿超过8800篇,其中7737 篇论文进入评审环节,最终录取数量为1591篇,录取率为20.6%。其中百度入选28篇论文,再创百度参会入选论文数历史新高,这一成绩在全球范围中也处于第一梯队。此次入选的28篇论文覆盖机器学习自然语言处理计算机视觉等领域,完成了在数量上和研究方向的双向突破,创新科研能力可见一斑。

在NLP预训练领域,百度入选论文《ERNIE 2.0: A Continual Pre-training Framework for Language Understanding》也被选做Oral进行展示。ERNIE 2.0是持续学习的语义理解框架,该框架可以增量地学习海量数据中的知识,持续提升语义理解效果。在ERNIE 2.0中,知识可通过预训练任务的形式加入到训练框架,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。基于该框架,ERNIE 2.0模型通过命名实体预测、句子排序结构重建、语义逻辑关系预测等预训练任务,从大规模训练数据中获取到词法、句法、语义等多个维度的知识,大幅提升了通用语义理解水平。

ERNIE 2.0同现有的预训练模型在英文数据集合GLUE和9个中文任务上进行了实验。 模型在英语任务上几乎全面优于之前的SOTA模型BERT和XLNet,在7个GLUE任务上取得了最好的结果;中文任务上,ERNIE 2.0模型在所有9个中文NLP任务上全面优于BERT。去年 12月,基于ERNIE 2.0改进的模型在GLUE上首次突破90大关,超越人类基线3个点拿到全球第一。

机器阅读理解领域,百度入选论文《A Robust Adversarial Training Approach to Machine Reading Comprehension》,讨论了机器阅读理解模型面临对抗攻击时的效果鲁棒性问题甚至安全问题。通过人工方式发现、总结并生成用于训练对抗样本的方式会产生需要人工参与的缺点,且不可能通过规则的方式枚举出所有可能的对抗样本类型及其规则。针对此,论文提出一种模型驱动的方式,使用自动对抗的方法无需人工参与,能够自动地发现未观察过的对抗样本类型并最终提升阅读理解的效果鲁棒性。

该方法可以简单地划分为三个步骤:(1)对每个训练样本我们利用对抗的方法生成一个干扰向量输入,使得它能够误导当前的阅读理解模型;(2)采用贪心策略从干扰向量的词汇权重中采样得到对应的离散化的干扰文本;(3)使用干扰文本构建用于训练的对抗样本,并重新训练阅读理解模型并重复上述步骤直至收敛

经实验验证,运用上论文中的对抗训练方法后,在不同的对抗数据集上均有非常显著的效果提升。并发现论文提出的模型驱动的方法确实能够生成多样性更加丰富的对抗样本,从而补充人工规则的不足。同时也发现使用该方法生成的对抗样本case仍然较为杂乱,并不具备很好的流利度甚至完全不是自然语言,因此当前对抗生成的方法仍然有较大提升空间。

计算机视觉领域,百度入选论文《ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection》,并选为oral进行展示。该论文提出了一个全新的双目3D检测框架ZoomNet,通过巧妙的利用自适应缩放来降低远距离的深度估计误差,以及学习部位特征来进一步提高3D检测的表现。在主流的KITTI数据集3D检测任务上,ZoomNet在验证集上的平均精度(IoU阈值为0.5)超过Pseudo-LiDAR(CVPR19)近10个百分点。对于远距离(>40m)的车辆,3D检测精度比Pseudo-LiDAR高了120% 。

论文表示,对于每一个实例,ZoomNet在获取左右边界框后,首先对该实例在2D上做细粒度的分析。然后,2D上的前景像素点会被投影到3D空间中用于位姿的回归。为了充分利用RGB图像中丰富的纹理提示来进行更准确的视差估计,ZoomNet引入了一个概念简单的模块——自适应缩放,该模块同时将2D实例边界框的大小调整为统一的分辨率,并相应地调整了相机的固有参数,以实现从调整分辨率后的图像中估计出更高质量的视差图,以及对不同深度的实例构建相似密度的点云。此外,论文还提出通过学习实例的部位特征来提高对遮挡的鲁棒性,极大的提高了3D检测的性能。

入选论文数量的增加可以看出百度AI的学术能力已经获得国际认可,而在技术研发、产业落地等方面,百度AI更是拿出实打实的“成绩单”。

在过去一年中,百度深度学习平台——百度飞桨,累计服务150多万开发者,发布模型达到16.9万个,成为中国首个也是目前国内唯一开源开放、功能完备的产业级深度学习平台;百度大脑已经升级成“软硬一体AI大生产平台”,对外开放240项核心AI能力,服务超过150万开发者,日均调用量突破1万亿次,语音、人脸、NLP、OCR 调用量中国第一;百度 Apollo已跑入23个城市,测试里程已经突破300万公里,智能驾驶专利1237项,位列全国第一;截至2019年6月,搭载小度助手的智能设备激活数量已突破4亿台,小度助手语音交互超过36亿次,前三季度,小度有屏音箱出货量稳居全球第一。

百度作为AAAI 2020的金牌赞助商,在全面展示论文研究成果的同时,百度展台现场也十分火爆,现场交流者众多,宣传材料已被“抢光”。

作为中国AI的领军者,百度AI既是中国AI的底气,也是中国AI的信心。2020年伊始,百度AI凭借强有力的技术、科研实力,向全世界注入中国AI强心剂。未来,百度将继续冲在前面,“产研”结合推动技术创新,带领中国AI起舞于国际舞台。

产业NLP机器学习AAAI 2020百度
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

对抗训练技术

对抗训练涉及两个模型的联合训练:一个模型是生成器,学习生成假样本,目标是骗过另一个模型;这另一个模型是判别器,通过对比真实数据学习判别生成器生成样本的真伪,目标是不要被骗。一般而言,两者的目标函数是相反的。

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

百度机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

https://www.baidu.com/
推荐文章
暂无评论
暂无评论~