Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Ingrid Fadelli,Tech Xplore作者欧阳锦,汪雨晴校对王菁 编辑王可汗翻译

基于数据预测的解释真的能增加用户对人工智能的信任吗?(附链接)

本文为大家介绍了一项最新的研究进展,它有助于理解人工智能的可解释性实际上如何影响用户对人工智能的信任。

近年来,许多人工智能(AI)和机器人领域的研究人员一直努力开发能够解释人工智能的预测或机器人行为的系统。他们工作背后的想法是,随着人工智能系统的普及,解释它们为什么会以特定的方式行动或为什么会做出某些预测可以提高透明度,从而提高用户对它们的信任。
 
最近,雷恩布列塔尼大西洋研究中心和图卢兹法国国家科学研究中心的研究人员进行了一项研究,对这一假设提出了质疑并进行了探索,希望能更好地理解人工智能的可解释性实际上如何影响用户对人工智能的信任。
 
他们发表在《自然机器智能》(Nature Machine Intelligence)上的论文认为,人工智能系统的解释可能并不像一些用户认为的那样真实或透明。
 
“这篇论文源于我们想要探索直观差距的愿望,”进行这项研究的两名研究人员Erwan Le Merrer和Gilles Tredan告诉TechXplore。“(这种差距在于)作为彼此有互动的人,我们总是习惯于不相信提供的解释。但作为计算机科学家,我们不断听到可解释性是公众接受人工智能的首要条件。”虽然我们认识到人工智能在某些情况下的好处(例如,人工智能设计师在“白盒”上操作),但我们想从用户(即:“黑盒”)的角度来说明它的局限性。”
 
许多研究人员最近提出,机器学习算法和其他人工智能工具应该能够解释其决策背后的基本原理,就像人类一样。另一方面,  Le Merrer and Trédan认为虽然AI的解释可能在本地环境中有价值,例如开发人员正在努力调试系统以提供有用的反馈,但在远程环境下,它们可能具有欺骗性,因为人工智能系统由特定的服务供应商训练和管理,所以它的决策是通过第三方传递给用户的。
 
Le Merrer和Tredan解释说:“对于采用基于人工智能算法的决策而言,用户对其所面临决策的理解是一个核心的社会问题。”“我们揭示了来自供应商的逻辑解释总是容易受到攻击(即,谎言),这对于一个孤立的用户来说是很难或不可能检测到的。我们的结果表明,特征空间和可能攻击的空间是非常大的,所以即使用户联合起来发现问题,这些谎言仍然很难被发现。”

为了更好地解释他们的想法背后的原因,Le Merrer和Tredan用夜总会外面的保镖做了一个类比,这些保镖在向个别顾客解释他们为什么被拒之门外时可能会撒谎。类似地,研究人员认为,远程服务供应商可能在人工智能预测或行为背后的原因上对用户撒谎,例如,利用区别特征。在他们的论文中,他们将两者间的这种类似称为“保镖(bouncer)问题”。

Le Merrer和Trédan说,“我们的工作质疑了一个人们普遍相信的观点:解释会增强用户对AI系统的信任。”“我们宁可得出相反的结论:从用户的角度出发且在没有既存信任时,解释很容易成为谎言,并且因此可以通过任何方式解释任何事情。我们认为应该使用其他方法(例如,内部白盒算法审核,加密方法等)来寻求用户的信任。”

Le Merrer和Trédan在他们的论文中提供了一些实例以展示“保镖问题”是如何影响远程情境中AI行为的可解释性。在未来的研究中,他们的工作也许会激发进一步关于探索开发机器学习算法或机器人的好处和局限性的研究,这些好处和局限性可以解释其行为背后的原因,同时也可能促进替代方案的开发,以提高人们对AI的信任。

Le Merrer和Trédan说,“我们计划继续从用户角度(即“黑匣子”)研究人工智能系统,特别是探讨这个问题:普通用户可以发现/学习/理解/推断哪些AI系统正在成为他们生活中日益增长的一部分吗?”“例如,我们目前正在研究那些声称没有使用此方法的平台上的用户阴影禁止(即阻止或部分排斥用户无法访问在线社区)现象。”

相关链接:

Erwan Le Merrer et al. Remote explainability faces the bouncer problem, Nature Machine Intelligence (2020). DOI: 10.1038/s42256-020-0216-z

期刊信息:Nature Machine Intelligence

原文标题:
Do explanations for data-based predictions actually increase users' trust in AI?
原文链接:
https://techxplore.com/news/2020-10-explanations-data-based-users-ai.html

译者简介

王可汗,清华大学机械工程系直博生在读。曾经有着物理专业的知识背景,研究生期间对数据科学产生浓厚兴趣,对机器学习AI充满好奇。期待着在科研道路上,人工智能与机械工程、计算物理碰撞出别样的火花。希望结交朋友分享更多数据科学的故事,用数据科学的思维看待世界。


THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

产业数据预测可解释性
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

推荐文章
暂无评论
暂无评论~