KYLE WIGGERS作者venturebeat选自

算法偏见就怪数据集?MIT纠偏算法自动识别「弱势群体」

长久以来,我们都将注意力放在了算法性能上,而对于算法偏见,我们并没有很完善的研究。通常直观的想法就是修正数据集,以构建类别平衡的训练集,但是这又额外地引入了工作量。在 MIT 的 AAAI 2019 新研究中,作者借助 VAE 学习训练数据的潜在结构,并以学到的潜在分布给数据点加权从而解决算法偏见问题。

算法中的偏见可能比你想象得还要普遍。发表于 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明,Cognitec 的人脸识别系统对非裔美国人的识别准确率比白人低 5 到 10 个百分点,《An other-race effect for face recognition algorithms》一文发现,中国、日本和韩国开发的模型不太容易区分白种人和东亚人。最近的一份研究表明,谷歌和亚马逊的语音助手在理解非美国口音方面的准确率要低 30%。《Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》一文发现,Google News 文章中的词嵌入存在对于男性和女性的刻板印象。

这是一个问题。但幸运的是,MIT 的研究者已经探索出了解决之道。

在论文《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure》中,MIT CSAIL 的科学家们展示了一种可以通过重新采样来自动消除数据偏见的 AI 系统。他们表示,在专门测试计算机视觉系统中偏见的数据集上,该系统显示出优异的性能,分类偏见也得以降低。该论文将在本周举办的 AAAI 大会上作为 Poster 论文进行展示。

人脸识别通常被视为一个已经得到解决的问题,尽管很明显,人们使用的数据并未得到适当审查,」上述论文一作之一 Alexander Amini 说道。「矫正这些问题至关重要,因为这类算法已经用在了安全、执法及其他领域。」

这不是 MIT CSAIL 第一次解决该问题,在 2018 年的一篇论文里,David Sontag 教授及其同事描述了一种在不降低预测结果准确性的前提下减少 AI 偏见的方法。但本文提出的方法是一种新颖的、半监督的端到端深度学习算法,它同时学习所需任务和数据结构,如面部检测任务和训练数据的潜在结构。后者使其能够揭开训练数据中隐藏或隐含的偏见,并能够在训练期间自动去除这些偏见,而无需数据预处理或注释。

去除偏见的原理

研究人员所设计的人工智能系统核心是一个变分自编码器(VAE),这是一种常见的无监督神经网络,与 GAN 一样经常用于图像生成任务。与自编码器一样,变分自编码器主要包含编码器和解码器。其中编码器将原始输入映射到特征表示中,而解码器将特征表示作为输入,利用它们进行预测并生成输出。最后模型会对比编码器的输入与解码器输出之间的差别,并将它们作为损失函数而执行训练。

在本文所提出的 VAE 下,即去偏见 VAE(DB-VAE),编码器部分在给定数据点的情况下学习隐变量真实分布的近似值,而解码器则期望基于潜在空间重构输入数据。解码重构使得在训练期间能够以无监督的方式学习隐变量

为了验证该去偏见算法在现实问题上具有「重要的社会影响」,研究人员在包含 40 万张图像的数据集上训练 DB-VAE 模型,分别将其中 80% 的图像作为训练集,20% 的图像作为验证集。然后他们在 PPB 测试数据集上评估该模型,该数据集包含 1270 张来自非洲和欧洲不同国家国会议员的图像。

结果很不错,据研究人员表示 DB-VAE 不仅学习面部特征(如肤色、头发),还学习诸如性别和年龄等其它特征。将在个体人口统计学(种族/性别)和整个 PPB 数据集上训练的去偏见模型与普通模型相比,去偏见模型的分类准确率明显增加,且针对种族和性别的分类偏见明显下降。该研究团队表示,这是朝着公平和无偏见 AI 系统发展的重要一步。

「公平系统的开发和部署对于防止意外的歧视以及确保这些算法被长期接纳至关重要。我们希望该算法能够促进现代人工智能系统算法的公平性。」合著者表示。

取得进步

过去十多年有很多失误都描述了 AI 潜在的偏见,但这并不意味着我们没有在更准确、偏见更少的系统方面取得进展。

去年 6 月份,微软与致力于人工智能公平性的专家通力合作,修正和扩展了用于训练 Face API 的数据集。Face API 是微软 Azure 中的一个 API,它提供预训练算法以检测、识别和分析人脸图像中的属性。新数据通过调整肤色、性别和年龄等所占的比例,能够将肤色较深的男性和女性之间的识别错误率降低 20 倍,单单女性的识别误差率就能降低 9 倍。

与此同时,一大类新兴的算法纠偏工具有望实现更加公正的人工智能

去年 5 月,Facebook 发布了 Fairness Flow。如果一个算法因为人类的种族、性别、和年龄等因素做出不公平的判断,Fairness Flow 会自动预警以提醒开发者。初创公司 Pymetrics 同样开源了他们用于检测偏见的工具 Audit AI;Accenture 发布了一个工具包以自动检测 AI 算法中的偏见,并帮助数据科学家缓解这些偏见。此外在去年 9 月份,谷歌推出了新工具 What-If,这是 TensorBoard 中用于检测偏见的工具,也表明机器学习框架 TensorFlow 开始关注这种算法的偏见。

论文:Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure

论文链接:http://www.aies-conference.com/wp-content/papers/main/AIES-19_paper_220.pdf

摘要:最近的研究揭示了基于现代机器学习的系统容易产生偏见,尤其是对于训练数据中缺乏代表性的社会群体。在本文中,我们开发了一种新的、可调的算法来减少训练数据中隐藏的潜在偏见。我们的算法将原始的学习任务和变分自编码器相融合,以学习训练数据中的潜在结构,然后在训练时自适应地使用学到的潜在分布给特定数据点的重要性重新加权。虽然我们的方法可以泛化到不同的数据模式和学习任务上,但在本研究中我们主要用该算法来解决面部检测系统中的种族和性别偏见问题。我们在 Pilot Parliaments Benchmark(PPB)数据集上评估了该算法,这是一个专为评估计算机视觉系统中的偏见而设计的数据集。评估结果表明,我们的去偏见方法提高了整体性能,降低了分类偏见。

原文链接:https://venturebeat.com/2019/01/26/mit-csail-researchers-propose-automated-method-for-debiasing-ai-algorithms/

理论VAE偏见AAAI 2019AAAIMIT
1
相关数据
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

变分自编码器技术

变分自编码器可用于对先验数据分布进行建模。从名字上就可以看出,它包括两部分:编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征,低级表征叫作本征向量(latent vector)。解码器吸收数据的低级表征,然后输出同样数据的高级表征。变分编码器是自动编码器的升级版本,其结构跟自动编码器是类似的,也由编码器和解码器构成。在自动编码器中,需要输入一张图片,然后将一张图片编码之后得到一个隐含向量,这比原始方法的随机取一个随机噪声更好,因为这包含着原图片的信息,然后隐含向量解码得到与原图片对应的照片。但是这样其实并不能任意生成图片,因为没有办法自己去构造隐藏向量,所以它需要通过一张图片输入编码才知道得到的隐含向量是什么,这时就可以通过变分自动编码器来解决这个问题。解决办法就是在编码过程给它增加一些限制,迫使其生成的隐含向量能够粗略的遵循一个标准正态分布,这就是其与一般的自动编码器最大的不同。这样生成一张新图片就比较容易,只需要给它一个标准正态分布的随机隐含向量,这样通过解码器就能够生成想要的图片,而不需要给它一张原始图片先编码。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

TensorBoard技术

一个信息中心,用于显示在执行一个或多个 TensorFlow 程序期间保存的摘要信息。

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

隐变量技术

在统计学中,隐变量或潜变量指的是不可观测的随机变量。隐变量可以通过使用数学模型依据观测得的数据被推断出来。

推荐文章
暂无评论
暂无评论~