泽南、小舟报道

「看面相识别罪犯」论文要上Nature?遭1700名科学家联名反对

有 1700 名研究者签字联名抵制 Nature 出版一篇 AI 研究论文,这可是头一次。

「我们敦促审核委员会公开撤销论文通过的决定,并解释评估该论文通过的标准。Springer 需要公开声明谴责使用刑事司法统计数据预测犯罪行为,并承认其过去在激励这种有害学术方面的作用。所有出版商今后都不要发表类似的研究。」

在一份长长的公开信中,数千名 AI 研究人员呼吁科学出版商 Springer Nature 不要发表一篇论文。据介绍,该研究提出了一种面部识别系统,能够预测一个人是否为犯罪分子。这篇论文由美国哈里斯堡科技大学(Harrisburg University of Science and Technology)提交。

是什么研究引发了如此争议?在这篇名为《A Deep Neural Network Model to Predict Criminality Using Image Processing》的论文中,研究人员称该技术没有种族偏见,根据照片中人的面部特征预测是否为罪犯的准确性达到了 80%,这一深度学习方法是面向执法机构开发的。

这篇论文的第一作者,哈里斯堡科技大学在读博士 Jonathan Korn 是一名前纽约警察。同为论文作者的 Roozbeh Sadeghian 教授在论文提交的新闻中表示:「我们知道机器学习技术在与面部识别和情感检测有关的各种任务上可实现超过人类的水平。新研究表明,这些工具可以从图像中提取出高度可预测犯罪的微小特征,这证明了新方法的强大。」

在原先的计划中,这篇论文会被收录在《自然》研究丛书「Springer Nature – Research Book Series: Transactions on Computational Science & Computational Intelligence」中。

「通过无偏见地自动识别潜在威胁,我们可以实现预防犯罪的目标,为执法部门和军事应用提供受到隐形偏见和情感因素更小的工具,」论文作者之一的 Nathaniel Ashby 表示。「我们的下一步是寻找合作伙伴以推进这一使命。」

然而事情并不如作者所想的那样顺利。在新闻发布之后,「AI 看人脸预测犯罪」的研究很快引发了不小的争议。在社交网络上,业界专家就效率、隐私和道德等原则达成了共识,称该计划不负责任、牵强附会且「错得离谱」,因为这可能引出 AI 判断一些人是天生罪犯的奇怪结果。

在论文提交后,哈里斯堡科技大学的新闻稿。在 5 月份这篇新闻因争议过大又被删除。

自 5 月论文提交的消息被曝出后,这一研究一直被科学界关注与讨论。在最近的公开信中,已经有来自哈佛大学、MIT、谷歌以及微软的学者和 AI 领域的专家在这封公开信上签字。他们呼吁出版公司 Springer 停止发表这篇论文:「我们是来自不同科技领域、学科和人文领域的研究者及从业人员,我们对于即将出版的论文深表关注。」

公开信的组织者之一 Audrey Beard 在一份邮件声明中表示:「根本无法开发出不存在种族偏见的犯罪预测系统,因为刑事司法数据本身就是存在种族偏见的。」

这已经不是 AI 研究者第一次提出这样令人质疑的研究了。

根据人的相貌来评估犯罪几率,这让人们想到了 2016 年 11 月上海交大提交到预印版论文平台 arXiv 上的论文《使用脸部图像自动推断罪犯》,研究者声称通过大量证件照片的训练,神经网络模型可以在识别罪犯时准确率达到 87%。在当年,该研究也曾引起学术界和舆论界的大量讨论。

昨晚,Nature 作出了澄清,哈里斯堡科技大学的文章不会被《自然》杂志出版:

但还是有人继续质问:「为什么这样的文章会进入 Nature 的审核流程?」看来想要消除深度学习的偏见,避免其成为「作恶」的工具,我们还有很多事情要做。

公开信:
https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16

参考内容:
https://www.biometricupdate.com/202005/biometric-software-that-allegedly-predicts-criminals-based-on-their-face-sparks-industry-controversy
入门机器学习Nature
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

推荐文章
政治正确正在阻碍科学发展和技术应用