AI学会「搞」科研登Nature,知乎网友:不忍直视的水

人工智能可以在复杂的围棋游戏中轻松战胜人类,但它们可以帮助我们做出科学发现吗?美国能源部劳伦斯伯克利国家实验室最近发表在《自然》杂志上的一篇论文引起了人们的广泛关注。研究人员表示,人工智能在自动阅读 300 万篇材料学领域的论文之后发现了全新的科学知识。

在人们的普遍印象里,论文上了 Nature,那结论自然也就八九不离十了。然而对于熟悉人工智能的人来说,该研究有些奇怪的是:论文中模型使用的技术是「词嵌入」——既不是卷积神经网络,也不是循环神经网络等更复杂的模型。这么简单的模型,真的可以帮助我们找到成百上千研究者多年来从未找到的新材料吗?

这篇文章发表之后引来了机器学习社区的大量反对意见,人们纷纷对这样的「灌水」行径表示不忍直视。

让我们先看看论文是怎么说的:

AI 学会「看论文」了,研究还上了 Nature

该论文的作者来自伯克利国家实验室能量存储与分布式资源部门(Energy Storage & Distributed Resources Division)科学家 Anubhav Jain 领导的团队,他们收集了 330 万篇已发表的材料科学论文的摘要,并将它们馈入到一个名为 word2vec 的算法中。通过解释词间的关系,该算法能够提前数年给出新热电材料的预测,在目前未知的材料中找出有应用潜力的候选材料。

这篇名为《Unsupervised Word Embeddings Capture Latent Knowledge from Materials Science Literature》的论文发表在 7 月 3 日的 Nature 上。

论文地址:https://www.nature.com/articles/s41586-019-1335-8

论文一作 Vahe Tshitoyan 是伯克利国家实验室博士后研究员,现就职于谷歌。此外,同属伯克利国家实验室的科学家 Kristin Persson 和 Gerbrand Ceder 也参与了此项研究。

Gerbrand Ceder 表示:「该论文认为,对科学文献进行文本发掘可以发现隐藏的知识,单纯的文本提取可以建立基本科学知识。」

论文一作 Tshitoyan 表示,该项目的动机是人们很难完全弄明白数量过多的已发表研究。所以,他们想到机器学习是否能够以无监督的方式利用所有集体知识(collective knowledge)。

King - queen + man = ?

该团队整理了 1922 年至 2018 年间发表在 1000 多个期刊上的 330 万篇论文摘要(是的,AI 读论文只看摘要)。Word2vec 从这些摘要中提取了大约 50 万个不同的单词,并将每个单词转化为 200 维的向量或者包含 200 个数字的数组。

Jain 表示:「重要的不在于数字,而是利用这些数字观察单词之间的关系」。例如,你可以利用标准向量数学做向量减法。其他研究者已经证明,如果你要在非科学文本资源上训练该算法,并从『king 减去 queen』中提取向量,则可以得到与『man 减去 woman』相近的结果。

同样地,当在材料科学文本中进行训练时,该算法仅根据摘要中单词的位置以及它们与其他单词的共现关系就可以学习科学术语和概念的含义。例如,正如该算法可以解「king-queen + man」方程式一样,它能够计算出方程式「ferromagnetic(铁磁的)—NiFe(镍铁)+ IrMn(铱锰)」的答案是「antiferromagnetic」(反铁磁的)。

左:Word2vec 的元素表征(投影到二维空间);右:门捷列夫元素周期表。图源:Berkeley Lab

如上图所示,当元素周期表中的化学元素投影到二维空间时,Word2vec 甚至可以学习它们之间的关系。

提前数年预测新材料

那么,如果 Word2vec 那么聪明,它能预测新的热电材料吗?一种好的热电材料可以高效地将热能转换为电能,而且是用安全、充足、易生产的原料制成的。

该算法根据词向量与单词「热电」的相似性对每种化合物进行排序,研究者选取了该算法最为推荐的热电材料。然后,他们通过计算来验证算法的预测结果。

他们发现,在算法预测出的前 10 位热电材料中,所有预测都计算出了略高于已知热电元件的功率因数(衡量电气设备效率高低的一个系数,该值越高效益越好);前三位材料的功率因数高于 95% 的已知热电学元件。

接下来,他们测试了该算法是否适用于「过去」的预测实验,即只给它 2000 年之前的摘要。结果再次给人惊喜,算法给出的排名靠前的预测结果很多都出现在了后来的研究中,这一数字是随机选择结果的四倍。例如,利用 2008 年之前的数据训练得到的预测结果有 5 个,其中三个已经被发现,而其余的两个非常稀有或含有有毒物质。

研究者说:「该研究表明,如果该算法能够早点应用,一些材料早在几年前就可以被发现了。」

随着研究的进行,研究者正在发布由算法预测出的前 50 位热电材料。他们还将发布研究中用到的词嵌入,以帮助其他人发现更好的材料。此外,他们还在开发一个更加强大的智能搜索引擎,帮助研究者利用更加有效的方法搜索摘要。

遭遇机器学习社区嘲讽

人工智能真的可以自动发现新材料吗?这篇论文一经发表便在社交网络上引发了热烈的讨论。目前为止,该帖子已经有 14 万的浏览量。

材料学的同学们首先表示惊讶:AI 代替科研人员,我们都会失业吗?熟悉机器学习的人们看完论文之后回过神来,则开启了「嘲讽模式」。

知乎上,新加坡国立大学博士、腾讯算法工程师「霍华德」表示:看完这篇 paper 后,我的内心久久不能平复,好久没看到这么烂的 paper 了!

也有人建议其他领域的学者在使用机器学习方法做自己的研究前要先打好基础。「到处挖坑蒋玉成」表示:我真心建议文章通讯作者和审稿人都去学学 CS224n…这文章的立意还挺不错的,但是实际的实现也太水了,完全不配发 Nature。

机器学习社区的人们仔细分析了这篇论文:

该论文中,作者用 t-SNE 将词向量投影到二维空间,并发现同族元素聚集在了一起。「霍华德」表示,同族元素在上下文当然容易提及,它们只是共现关系而已。此外,作者声称可以直接用词向量预测化合物,并表示预测结果与理论计算的绝对误差非常小,但理论能算出来东西,用神经网络做拟合的意义真的很大吗?

在这里,作者连神经网络适用的基本场景都弄不清,对于 Formation Energy 的计算有完善的量子力学理论做支撑,对于这样能够精准建模的问题,用传统的物理学第一性理论来计算更好,更加可靠!

最后,作者用余弦相似度计算了和 thermoelectric 最接近的单词,然后在其中的 326 位和 345 位发现了两种材料 Li2CuSb 和 Cu3Nb2O8,然后宣称他们的算法能够预测潜在的新型热电材料。在读者看来,这是一种「令人窒息」的操作。因为 thermoelectric 和两种材料之所以余弦相似度接近,根本原因是有人在文章里同时提到过 thermoelectric 和 Li2CuSb、Cu3Nb2O8,这仅仅是共现关系而已。

所以结论来了:所谓能够预测潜在的新型热电材料的 AI 算法属于无稽之谈,材料学研究者们的生存并没有因此受到威胁——因为这篇论文没有提出任何能让 AI 看懂论文的算法。

也有研究材料的学者在知乎上表示,为了蹭大数据、机器学习深度学习的热度,很多领域的研究都在做相关的工作。「声嘶力竭」介绍了自己的经历:刚开始接触和学习 AI 相关技术,本以为可以利用这个工具做出多么伟大的工作,但是自己真正做了之后,才感觉「这不就是个高维特征空间的统计工具嘛,为什么被吹得这么玄幻?」

机器学习不能这么乱用

论文上了《自然》、《科学》杂志,却仍然经不起人们的推敲,这种事最近在机器学习社区已经发生了不是一两次了。

在「人工智能搞科研」研究之前,是「深度学习预测地震」。去年 8 月,《Nature》上发表了一篇题为《Deep learning of aftershock patterns following large earthquakes》的火爆论文。该论文由哈佛和谷歌的数据科学家联合撰写,论文一作所属单位是哈佛大学地球与行星科学系。

该论文展示了如何利用深度学习技术预测余震。研究者指出,他们利用神经网络在预测余震位置方面的准确率超越了传统方法。

但很快,这一方法就遭到了深度学习从业者的质疑。一位名叫 Rajiv Shah 的数据科学家表示,论文中使用的建模方法存在一些根本性的问题,因此实验结果的准确性也有待考究。这名数据科学家本着严谨的精神在通过实验验证之后联系了原作和《Nature》,却没得到什么积极的回复。

于是,Rajiv Shah 经过半年时间,研究了论文作者公开的代码,随后在 medium 上发表文章揭露论文中存在的根本性缺陷以及《Nature》的不作为,后来这件事又在 Reddit 上引起了广泛的讨论。

人们除了批评 Nature 之外,也对深度学习、AI 技术被滥用的情况表示担忧。随着机器学习逐渐成为热门学科,越来越多其他领域的学者开始使用新方法来解决问题,有些获得了成果,有些则因为实验和数据的错误方式而导致了不严谨的结果。

更令人担忧的是,有时候有缺陷的研究还可以得到人们的认可。

这篇深度学习预测余震的论文登上了 Nature,还成为了 TensorFlow 2.0 新版本上宣传文章中提到的案例——然而却被机器学习社区从业者们诟病。

顶级期刊的事,怎么能说胡编乱造呢?然而这一次,人工智能学者们真的有点忍不住了。

参考内容:

https://techxplore.com/news/2019-07-machine-learning-algorithms-uncover-hidden-scientific.html

https://www.nature.com/articles/s41586-019-1335-8

https://www.zhihu.com/question/333317064/answer/738462156


理论NLPNatureWord2Vec词嵌入
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

word2vec技术

Word2vec,为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络,用来训练以重新建构语言学之词文本。网络以词表现,并且需猜测相邻位置的输入词,在word2vec中词袋模型假设下,词的顺序是不重要的。 训练完成之后,word2vec模型可用来映射每个词到一个向量,可用来表示词对词之间的关系。该向量为神经网络之隐藏层。 Word2vec依赖skip-grams或连续词袋(CBOW)来建立神经词嵌入。Word2vec为托马斯·米科洛夫(Tomas Mikolov)在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释。

腾讯机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
知乎机构

知乎作为中文互联网知名知识内容平台,致力于构建一个人人都可接入的知识分享网络,让人们便捷地与世界分享知识、经验和见解,高效获得可信赖的解答。 目前,知乎已经覆盖「问答」社区、一站式知识服务平台「知乎大学」、短内容分享功能「想法」等一系列产品和服务,并建立了包括音频、视频在内的多元媒介形式。截止 2018 年 8 月底,知乎用户数已突破 2 亿,回答数超过 1.2 亿。未来,知乎进一步加大对 AI 技术和应用的投入,构建一个由 AI 驱动的智能社区,让知识普惠每一个人。

https://www.zhihu.com
暂无评论
暂无评论~