Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

杜伟、陈萍编辑

又来:Hinton、Bengio等300余大佬、名人联名警告AI灭世风险

图灵奖 AI 三巨头,这次签字的就有两个。

人工智能存在「灭绝」级别的风险,未来的系统可能像核武器一样致命。本周二,著名的人工智能学者、科技公司创始人团结了起来,发出呼吁。


公开信地址:https://www.safe.ai/statement-on-ai-risk

前有马斯克、Bengio 等人发出公开信,叫停 GPT-4 后续 AI 大模型的研发,近期又有 OpenAI 高层发文探讨「超级智能」监管问题,并表示像监管核武器一样监管 AI。AI 可能引发的一系列风险问题正在得到大家越来越多的关注。

本周二,一封重要公开信《AI 风险声明》引发了大量的议论。

这封信由非营利组织人工智能安全中心(CAIS)发布,370 多名 AI 专家在信上签名,信中警告称如果对先进人工智能的发展监管不当,可能会对人类构成生存威胁。

本公开信与以往不同,因为其中许多重要签署者在 AI 实验室、大型科技公司担任要职。其中包括图灵奖得主 Geoffrey Hinton、Yoshua Bengio,OpenAI 首席执行官 Sam Altman,Google DeepMind 联合创始人兼 CEO Demis Hassabis,微软首席技术官 Kevin Scott,谷歌副总裁 James Manyika,OpenAI 首席科学家 Ilya Sutskever,GAN 之父 Ian Goodfellow 等都已签名。

部分公开信签署人。

公开信只有一句声明:「减轻人工智能引发的灭绝风险应当与其他社会规模的风险(如大流行病和核战争)一样成为全球的优先事项。」

Demis Hassabis 还发表了自己的看法,「我一生都在研究人工智能,相信它在推动科学和医学发展以及改善数十亿人的生活方面具有不可思议的潜力。但与任何变革技术一样,我们应该采取预防原则,并格外小心地构建和部署 AI。」


如今人们越来越担心 ChatGPT 等 AI 模型的发展可能给人类带来的潜在威胁。AI 在不断发展的同时,但相应的监管却迟迟没有跟上。

不过一些 AI 研究者们已经意识到这一点,就在上个月,Hinton 离开谷歌,并表示希望不受公司隶属关系的限制,就人工智能的潜在风险进行坦诚的讨论。

针对 AI 风险的呼吁行动一直进行中

这份联合声明之前也有类似的倡议,3 月底上千名行业领袖和专家签署公开信呼吁至少 6 个月内暂停开发比 GPT-4 更强大的 AI 系统,并警告 AI 的发展对社会和人类构成的潜在风险。当时,马斯克、史蒂芬・沃茲尼克、Bengio 和 Gary Marcus 都在公开信中签名。目前,这份公开信的署名人数已经超过了 31000 人。


公开信地址:https://futureoflife.org/open-letter/pause-giant-ai-experiments/

尽管已经有很多人呼吁对 AI 采取谨慎态度,但行业领导者和政策制定者对负责任地监管和开发人工智能的最佳方法几乎没有达成共识。

本月早些时候,包括 OpenAI CEO Sam Altman、Google DeepMind 联合创始人兼 CEO Demis Hassabis 在内的科技领袖会见了美国总统拜登,讨论了潜在的监管问题。在之后的参议院听证上,Sam Altman 主张政府干预,并强调了先进 AI 系统带来的严重风险以及对解决潜在危害进行监管的必要性。

Sam Altman

在前几天的一篇 OpenAI 博客中,该公司高管概述了负责任地管理 AI 系统的几项建议,包括加强顶级 AI 研究者之间的合作、对大语言模型进行更加深入的技术研究以及建立国际 AI 安全组织等。该声明进一步呼吁采取行动,敦促更广泛的社区就 AI 未来及其对社会的潜在影响展开有意义的对话。


原文地址:https://openai.com/blog/democratic-inputs-to-ai

AI 伦理专家不以为然,不必过分关注假想中的风险


关于对假想中导致世界末日的 AI 风险采取行动,并不是所有人都对这些行业领袖和专家的观点表示赞同,来自机器学习社区的质疑声也是有的。其中,经常关注 AI 伦理的专家对这些不断出现的公开信并不「感冒」。

Hugging Face 的机器学习研究科学家 Sasha Luccioni 将 CAIS 的新公开信看作是耍弄花招。首先将 AI 假设存在风险与流行病和气候变化等非常切实的风险相提并论,这对公众来说非常新鲜且能直达内心。但这也是一种误导,将公众的注意力吸引到未来风险上,这样他们就不会过多地思考偏见、法律问题和许可等当前的有形风险。

作家、未来学家 Daniel Jeffries 发推表示,「AI 的风险和危害现在正成为一种地位游戏,每个人都挤在这波潮流中让自己看起来不错…… 人们为什么一直在喋喋不休呢?或许是这些呼吁看起来不错、也不花钱。就是这样。」



因此,尽管有朝一日或许有一种先进的人工智能威胁到了人类,但将注意力集中在假想中的不清不楚的世界末日场景上并不富有建设性,也不会产生助益。人们不能老是将精力放在不存在的事情上。

正如 Daniel Jeffries 所言,「试图解决明天想象中的问题完全是浪费时间。解决好今天的问题,明天的问题到时自然而然地就会解决。」

参考链接:
https://venturebeat.com/ai/top-ai-researchers-and-ceos-warn-against-risk-of-extinction-in-joint-statement/
https://arstechnica.com/information-technology/2023/05/openai-execs-warn-of-risk-of-extinction-from-artificial-intelligence-in-new-open-letter/
https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html
产业Geoffrey HintonYoshua Bengio
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
Ian Goodfellow人物

Ian Goodfellow 是机器学习领域备受关注的年轻学者之一,他在本科与硕士就读于斯坦福大学,师从吴恩达,博士阶段则跟随蒙特利尔大学的著名学者Yoshua Bengio研究机器学习。Goodfellow 最引人注目的成就是在2014年6月提出了生成对抗网络(GAN)。这一技术近年来已成为机器学习界最火热的讨论话题,特别是在最近几个月里,与GAN有关的论文不断涌现。GAN已成为众多学者的研究方向。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~