一年之后，Scott Aaronson 将继续回到 UT Austin 全职教学。
近日，量子计算大牛、知名量子计算机专家 Scott Aaronson 要加盟 OpenAI 的消息引起了社区极大的关注。Aaronson 宣布他将离开 UT Austin 一年，到知名 AI 研究机构 OpenAI 从事理论研究，特别是研究防止 AI 失控的理论基础，以及计算复杂性对此有何作为。Scott Aaronson 为此写了一篇博客，以下为博客主要内容：我非常兴奋，至少对于我来说，从下周开始，我将从 UT Austin 离开一年，去 OpenAI 工作。GPT-3 和 DALL-E2 的创造令人震惊，这些研究不仅给我和我的孩子们带来了无尽的乐趣，而且重新改变了我对世界的理解。在 OpenAI 我将从事理论研究，思考 AI 安全和一致性的理论基础。我要用一整年的时间进行理论研究，我对两个方面比较感兴趣：一是短期，即新想法是可以快速测试的；以及 AI 的滥用，AI 被广泛应用于垃圾邮件、监视、宣传和其他邪恶目的，已然成为主要的社会问题，这种问题会长期存在，众多研究者开始担心一旦 AI 在所有领域超越人类，接下来会发生什么。在我们开始阅读有关 AI 安全的文章时，会惊讶的发现有两个独立的社区：一类主要担心机器学习会导致种族、性别偏见长期存在，另一类主要担心超越人类的 AI 将地球变成一团乱麻——AI 之间不能协调工作，彼此格格不入，互相指责对方没有抓住重点。然而，我坚持认为，这些只是 AI 中两个比较极端的情况。通过弄清楚如何使 AI 与当今的人类价值观保持一致——不断将我们的理论思想与现实相抗衡，使我们能够更好地将 AI 与未来的人类价值观保持一致。由于家庭原因，我将主要在德克萨斯州的家中完成这项工作，可能有时也会前往 OpenAI 在旧金山的办公室。我还将花费 30% 的时间继续在 UT Austin 运营量子信息中心，并与我的学生和博士后一起工作。在今年年底，我计划回到全职教学、写作和思考量子问题，这些仍然是我生活中主要爱好。在我转向量子计算之前，我在读博士时开始研究 AI 领域，此时的 AI 已经以我们不能忽视的方式接管了世界。也许这是我加入 OpenAI 的一个契机，在我的博客 Shtetl-Optimized 中，包括 Max Ra 和 Matt Putz 在内的一些评论者直截了当地问我，怎样才能促使我致力于 AI 对齐（AI alignment）研究。我的回答是这主要不是为了钱，而且：核心问题是围绕 AI 对齐找到一个可能有答案的技术问题，即使只是一个小问题，但我觉得我有一个不同寻常的角度，都能让我产生兴趣。总的来说，我在研究主题方面有着绝对糟糕的记录，因为我抽象地觉得我应该研究它们。我的整个科学生涯基本上只是让自己被一个接一个的谜题所困扰。
以上就是我的回答。总之，OpenAI 的 Jan Leike 看到了这段交流，并写邮件问我是否对他的研究感兴趣。在与 OpenAI 的 Jan 以及更多的 AI 安全领域的人进行了深入交谈后，我最终决定前往 OpenAI。实际上，我整个星期都在湾区，会见了许多 AI 安全人员，当然还有研究复杂性和量子的人员，他们无论走到哪里，都带着一堆关于 AI 安全的技术论文。当我与 AI 安全专家交谈时，我感到震惊的是，他们不仅重视复杂性理论的潜在相关性，而且比我更热衷。这不禁让我想到，传统上是学生追随教授的脚步。但在尝试将复杂性理论引入 AI 安全时，我实际上是在追随我学生的脚步：Paul Christiano，我在 MIT 的本科生之一，毕业后 Paul 在伯克利获得了量子计算博士学位，师从我曾经的导师 Umesh Vazirani ，他业余时间还从事 AI 安全工作。Paul 随后离开量子计算，全职从事 AI 安全工作——事实上，他与 Dario Amodei 等人一起帮助 OpenAI 建立了安全小组。之后 Paul 离开 OpenAI，成立了自己的 AI 安全组织——Alignment Research Center (ARC)，但还与 OpenAI 的人保持着良好的关系。我很感谢 Paul 的指导和鼓励，以及在这个交叉路口工作的其他人，比如 Geoffrey Irving 和 Elizabeth Barnes。我将在 OpenAI 实际从事哪些项目？过去一周我一直在试图弄清楚这一点，我仍然不知道，但也有了一些眉目。- 首先，我可能会制定一个关于样本复杂性等的一般理论，以用于在危险环境中学习，即了解在哪里做出错误的查询可能会杀死系统。
- 其次，我可能会研究机器学习的可解释性和可依赖性：给定一个产生特定输出的深度网络，我会解释为何产生这种输出。
- 第三，我可能会研究弱智能体验证强智能体行为的能力。当然，如果 P≠NP，那么解决问题的难度和识别解决方案的难度之间的差距有时会很大。事实上，即使在经验机器学习中，生成对象（例如猫图片）的难度与区分它们和其他对象的难度之间通常存在差距，后者更容易。但这个差距通常不是指数级的，正如对 NP 完全问题所推测的那样：它比这小得多。与直觉相反，我们可以转而使用生成器来改进鉴别器。我们如何抽象地理解这一点？我们可以在多大程度上扩大生成器 / 判别器的差距？
当然，OpenAI 的名字中就有 Open 这个词，其创始使命是确保通用人工智能造福全人类。但它也是一家营利性企业，拥有投资者、付费客户和竞争对手。因此，在这一年中，我不会分享任何专有信息，即使我没有签署 NDA。但我会在博客中写下我对 AI 安全发展的一些看法，欢迎读者进行反馈。过去，我经常对超级智能 AI 将变得具有自我意识并很快摧毁世界的说法持怀疑态度。我从 2005 年就知道有 AI 风险社区的存在， 其领导者 Eliezer Yudkowsky 以及 Eliezer 劝告人们放弃他们正在做的事情，努力应对 AI 风险。即使我同意这是一件值得担心的大事，我还是想问，我们到底怎么做呢？我们对未来的超级智能 AI 及其行为方式知之甚少，以至于我们今天采取的任何行动都可能毫无用处或适得其反。然而，在过去的 15 年里，我和 Eliezer 的观点发生了戏剧性和讽刺性的逆转。如果你阅读过 Eliezer 的 litany of doom，你会发现他现在已经听天由命了：因为他的早期警告没有受到重视，他认为，人类几乎可以肯定注定要毁灭，一个没有对其（unaligned） AI 很快就会摧毁人类世界。Eliezer 表示，在 AI 安全研究中基本上没有有希望的方向：对于学者指出的对齐策略，都可以通过解释 AI 如何明智地执行计划来轻松地反驳它，AI 会假装支持我们的计划，同时秘密地反对我们。奇怪的是，正如 Eliezer 在对 AI 对齐方面取得任何进展的前景感到越来越悲观一样，我却变得越来越乐观。我乐观的部分原因是因为像 Paul Christiano 这样的人已经为丰富的数学理论奠定了基础。更多的是因为我们现在生活在一个拥有 GPT-3、DALL-E2 和其他系统的世界中，虽然它们还不是 AGI，但足够强大。我们终于可以根据这些系统来测试我们的直觉，这可能是人类在任何事情上取得成功的唯一途径。我没有预测到如此令人印象深刻的机器学习模型会在 2022 年出现，我相信你们中的大多数人都没有预测到。显然 Eliezer Yudkowsky 也没有，但它发生了。在我看来，科学的一个决定性优点是，当经验现实给你带来明显的冲击时，你会更新和适应，而不是消耗你的智慧来想出其他理由来解释它无关紧要。我的目标是学习一些新事物，做一些有趣的研究，写一些相关的论文，享受教学后的休息，最后祝自己可以成功！在量子计算这个领域，Scott Aaronson 毫无疑问称得上「先驱」。Scott Aaronson 是德克萨斯大学奥斯汀分校计算机科学教授，主要研究领域为理论计算机科学，研究兴趣包括量子计算机的能力与局限性以及计算复杂性理论等。Aaronson 毕业于康奈尔大学，并获得加州大学伯克利分校的计算机科学博士学位。过往所获荣誉包括 Tomassoni-Chisesi 物理学奖（2018 年）、Simons 研究者奖（2017 年）和美国国家科学基金会的 Alan T. Waterman 奖（2012 年）。2019 年，Scott Aaronson 因「对量子计算和计算复杂性的贡献」当选 ACM Fellow。2021 年，Aaronson 获得 ACM 计算奖。在公告中，ACM 这样总结 Scott Aaronson 的主要研究贡献：玻色子采样：2011 年，Scott Aaronson 与 Alex Arkhipov 合著的论文《线性光学的计算复杂性》证明了完全由线性光学元素构成的基础量子计算机无法通过经典计算机进行有效模拟。此后，Aaronson 致力于探索量子优越性实验如何实现量子计算的关键应用，即密码随机比特的生成。2020 年底，中科大潘建伟研究团队等成功构建了 76 个光子 100 个模式的高斯玻色取样量子计算原型机「九章」，研究发表在《Science》杂志。Scott Aaronson 也是这篇论文的审稿人之一，并在自己的博客中详细分析了这项重大突破。量子计算机的局限：Aaronson 在 2002 年的论文《碰撞问题的量子下界》中证明了碰撞问题的量子下界，这项工作界定了量子计算机在多对一功能中发现冲突的最短时间，从而证明了密码学的基本构成部分将保持量子计算机的安全。经典复杂性理论：Aaronson 与 Avi Wigderson 共同提出了「代数化（Algebrization）」，这是一种用于理解分离和折叠复杂性类的代数技术局限性的方法。量子计算的科普工作：除了技术上的贡献，Aaronson 也始终致力于将量子计算推向大众，并成为了该领域颇具名气的「布道者」。在他的博客 Shtetl-Optimized 中，Aaronson 时常以简单易懂的方式介绍量子计算领域的热门话题，不管是基础理论问题还是量子设备的探讨，这些文章都广受欢迎并引发了很多有趣的讨论。Aaronson 还著有《自德谟克利特以来的量子计算》一书。https://awards.acm.org/about/2020-acm-prizehttps://www.solidot.org/story?sid=71870
https://scottaaronson.blog/?p=6484 
