一鸣整理

7 papers | 对抗样本前,BERT也不行;AutoML的商业实践综述

本周有一些重要的研究成果,如 Julia 将内嵌自动可微编程特性、以及 Ian Goodfellow 转推的论文 DVD-GAN。还有一些论文对现有研究进行了反思,如第一篇针对 BERT 在观点推理理解任务上的对抗样本研究,以及一篇对推荐系统算法的评价论文等。

目录

  1. Probing Neural Network Comprehension of Natural Language Arguments

  2. Efficient Video Generation on Complex Datasets

  3. A Differentiable Programming System to Bridge Machine Learning and Scientific Computing

  4. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches 

  5. OmniNet: A unified architecture for multi-modal multi-task learning

  6. WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia

  7. Automated Machine Learning in Practice: State of the Art and Recent Results

1.标题:Probing Neural Network Comprehension of Natural Language Arguments

  • 作者: Timothy Niven、Hung-Yu Kao

  • 链接:https://arxiv.org/pdf/1907.07355.pdf

摘要:研究人员发现,尽管 BERT 在观点推理理解任务上的表现仅比人类基准低 3 个百分点(77%),但是其性能完全依赖于挖掘数据集中的统计线索(statistical cues)。研究人员分析了这些统计线索,发现许多模型都使用这些线索用于推断。这说明,针对这种线索,可以提出一种对抗样本数据集,可以使所有语言模型的性能下降到几乎随机。论文提出了这种针对观点理解任务鲁棒性的对抗样本数据集。

观点阅读理解任务对抗样本数据集。左:原始数据;右:对抗样本

BERT-Large 模型的在对抗样本数据集的表现,效果相当于随机。

推荐:BERT 模型真的那么神奇吗?也许从数据集角度分析,再好的预训练模型也不过是统计拟合。读者朋友可以参考这篇论文,了解如何提升自然语言处理任务模型鲁棒性的方法。

2. 标题:Efficient Video Generation on Complex Datasets

  • 作者:Aidan Clark、Jeff Donahue、Karen Simonyan

  • 链接:https://arxiv.org/pdf/1907.06571.pdf

摘要:近日,来自 DeepMind 的研究者则尝试在视频建模领域实现逼真的效果,他们认为除了图像生成,GAN 在视频生成上也是没有问题的。类似 BigGAN 的思路,研究者在复杂的 Kinetics-600 数据集上训练一种大型生成对抗网络(GAN),并期待该网络生成的视频样本复杂度大大高于之前的研究。

DeepMind 提出的模型叫作 Dual Video Discriminator GAN (DVD-GAN),可以利用计算高效的判别器分解,扩展到时间更长、分辨率更高的视频。该研究是迈向逼真视频生成的一次探索,连 Ian Goodfellow 也转推了这篇论文。

DVD-GAN 生成的高清视频。

推荐:GAN 之父 Ian Goodfellow 转载的论文。融合多种视频数据处理思路,使 GAN 进军视频生成领域。有兴趣了解 GAN 在视频领域应用的读者推荐阅读。

3. 标题:A Differentiable Programming System to Bridge Machine Learning and Scientific Computing

  • 作者:Mike Innes、Alan Edelman、Keno Fischer、Chris Rackauckas、Elliot Saba、Viral B Shah、Will Tebbu

  • 链接:https://arxiv.org/pdf/1907.07587.pdf

摘要:近年来,机器学习模型越来越精妙,展现出了很多科学计算的特性,侧面凸显了机器学习框架的强大能力。研究者表示,由于广泛的科学计算和机器学习领域在底层结构上都需要线性代数的支持,因此有可能以可微编程的形式,创造一种新的计算基础设施。在论文中,研究人员提出了一种可微编程系统,它能在 Julia 语言中完成梯度计算,并成为 Julia 语言的第一级特性。这使得构建深度学习模型变得更直观。更重要的是,这令用户可以使用已有的 Julia 科学计算包去构建深度学习模型,并高效实现梯度计算。

推荐:特斯拉 AI 主管 Karpathy 点赞、YCombinator 机器学习研究者 Michael Nielsen 推荐的论文。深度学习入门门槛越来越低,用 Julia+自动微分编程就可以搞定模型训练和测试了。

4. 标题:Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

  • 作者:Maurizio Ferrari Dacrema、Paolo Cremonesi、Dietmar Jannach

  • 链接:https://arxiv.org/pdf/1907.06902.pdf

  • 实现地址:https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation

摘要:对于那些致力于推荐系统算法方面的研究人员来说,深度学习技术已经成为他们的首先方法。但是,随着研究人员对深度学习的兴趣日益强烈,哪些方法能够代表当前最佳水平却变得难以辨别,如适用于 top-n 推荐任务的最佳方法。因此,研究者在本文中列举出了 top-n 推荐任务中提议算法的系统分析结果。具体来说,他们试验了 2018 年顶级科研会议上提出的 18 种算法,但遗憾的是,仅有 7 种算法可以通过研究人员的合理努力实现复现。然而,在这 7 种算法之中,却又有 6 种算法的效果通常弱于同类更简单的启发式方法,如基于最近邻或基于图的方法。剩下 1 种算法的效果虽然明显优于基线方法,但无法持续地优于调整好的非神经线性排序法(nonneural linear ranking method)。

推荐:林林总总的推荐算法效果究竟如何?本篇论文全面解答。从事推荐算法研究的读者朋友可以了解评价新的评价性能的方法。

5. 标题:OmniNet: A unified architecture for multi-modal multi-task learning

  • 作者:Subhojeet Pramanik、Priyanka Agrawal、Aman Hussain

  • 链接:https://arxiv.org/pdf/1907.07804.pdf

摘要:Transformer 是一种广受欢迎的神经网络架构,特别是用在自然语言理解任务中。在论文中,研究人员提出了一种可扩展的统一神经网络架构——OmniNET。这种架构可以在涉及多种模型的任务中使用,如图像、文本、视频等。这种模型可以学习空间维度和隐层所对应的时间维度信息。这样的单一模型可以支持多模态输入,以及异步多任务学习。例如,OmniNet 可以同时学习词性标注、视频标注、图像问答、和视频活动识别信息,而同时训练这四个任务的模型可以压缩三倍,且性能和单独训练每个任务的模型一致。研究人员也发现,预训练这个模型可以支持在未见任务中的学习。这些都说明了使用 Transformer 的 OmniNet 的性能表现。

OmniNet 架构。

推荐:如何理解和构建适应多任务多模态数据的统一人工神经网络架构?本论文提出了启发性的研究思路。论文提出的模型架构,无疑为通用预训练模型研究提供了一些方法。

6. 标题:WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia

  • 作者:Holger Schwenk、Vishrav Chaudhary、Shuo Sun、Hongyu Gong、Francisco Guzmán

  • 链接:https://arxiv.org/pdf/1907.05791.pdf

摘要:研究者提出一种基于多语言句子嵌入的方法,以从 85 种语言(包括几种方言或低资源语言)的维基百科文章内容中自动提取平行句(parallel sentence)。在提取过程中,平行句并不只是以英文表示的,而是系统化地考虑到所有可能的语言对。从提取结果来看,研究者共为 1620 个不同的语言对提取了 1.35 亿个平行句,其中只有 3400 万个平行句是英文的。为了显示提取的双语文本质量,他们为 1886 个语言对的挖掘数据训练了神经 MT 基线系统,并在 TED 语料库中进行评估,实现了对很多语言对的高 BLEU 分数。因此,WikiMatrix 双语文本似乎非常适合训练不同语言之间的 MT 系统,而不需要转换成英文。

推荐机器翻译中,数据太重要了。论文解决了小语种数据集缺乏的问题,适合对小语种机器翻译研究的读者朋友了解数据集的构建过程。

7. 标题:Automated Machine Learning in Practice: State of the Art and Recent Results

  • 作者:Lukas Tuggener、Mohammadreza Amirian、Katharina Rombach、Stefan Lörwald、Anastasia Varlet、Christian Westermann、Thilo Stadelmann

  • 链接:https://arxiv.org/pdf/1907.08392

摘要:工业和社会的信息化动力在于:数据驱动建模和决策可以对高级自动化和更有见地的决策带来贡献。从数据中建模往往会涉及到应用某种机器学习技术。因此,应用机器学习技术也需要大量的劳动力进行优化设置。这一需求推动了一项新的研究,即完全自动化的机器学习模型拟合——AutoML。本文回顾了 AutoML 的 SOTA 模型在商业背景下的实际应用,并提供了近期最重要的 AutoML 算法的基准结果。

推荐:再也不用担心 AutoML 搞不懂、不会用了。本文将 SOTA 模型、基准结果和实际应用一网打尽。

入门自动化机器学习深度学习智能机器人AutoMLBERT生成对抗网络通用人工智能Julia
1
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

Ian Goodfellow人物

Ian Goodfellow 是机器学习领域备受关注的年轻学者之一,他在本科与硕士就读于斯坦福大学,师从吴恩达,博士阶段则跟随蒙特利尔大学的著名学者Yoshua Bengio研究机器学习。Goodfellow 最引人注目的成就是在2014年6月提出了生成对抗网络(GAN)。这一技术近年来已成为机器学习界最火热的讨论话题,特别是在最近几个月里,与GAN有关的论文不断涌现。GAN已成为众多学者的研究方向。

Julia技术

Julia 是MIT设计的一个面向科学计算的高性能动态高级程序设计语言,项目大约于2009年中开始,2018年8月JuliaCon2018 发布会上发布Julia 1.0。据介绍,Julia 目前下载量已经达到了 200 万次,且 Julia 社区开发了超过 1900 多个扩展包。这些扩展包包含各种各样的数学库、数学运算工具和用于通用计算的库。除此之外,Julia 语言还可以轻松使用 Python、R、C/C++ 和 Java 中的库,这极大地扩展了 Julia 语言的使用范围。

词性标注技术

词性标注是指为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词是名词、动词、形容词或其他词性的过程。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

图像生成技术

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

线性代数技术

线性代数是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题;因而,线性代数被广泛地应用于抽象代数和泛函分析中;通过解析几何,线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型,使得线性代数被广泛地应用于自然科学和社会科学中。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

多任务学习技术

活动识别技术

活动识别旨通过对代理人的行为和环境条件的一系列观察来识别一个或多个代理人的行为和目标。

推荐文章
暂无评论
暂无评论~