今年年初，DeepMind 发布了基于 Transformer 的新模型 AlphaCode，该模型实现了大规模代码生成。现在，AlphaCode 又在《Science》上发表了新论文，研究登上《Science》封面。
论文地址：https://www.science.org/doi/10.1126/science.abq1158代码生成一直被认为是一项重要挑战。AlphaCode 论文通讯作者、DeepMind 首席科学家 Oriol Vinyals 用一张图生动描述了智能与编程之间的关系，说明 AI 模型完成编程竞赛问题是非常困难的，而 AlphaCode 做到了。具体而言，研究者将 AlphaCode 放在 Codeforces 挑战中进行了测试，Codeforces 是全球知名的编程竞赛平台，类似于国际象棋中使用的 Elo 评级系统，聚集全世界顶尖编程者。Codeforces 每周会分享编程挑战和问题排名。不同于编程人员在打造商业应用程序时可能面临的任务，Codeforces 的挑战更加独立，需要对计算机科学中的算法和理论概念有更广泛的了解，一般是结合逻辑、数学和编码专业知识的非常专业的难题。AlphaCode 针对 Codeforces 网站上 5000 名用户解决的 10 项挑战进行了测试，总体排名位于前 54.3%，也就是说它击败了 46% 的参赛者 。我们来看一个 AlphaCode 生成代码的具体例子：在测试 AlphaCode 的一项挑战中，试题要求参赛者找到一种方法，使用一组有限的输入将一个随机、重复的 s 和 t 字母字符串转换为另一个相同字母的字符串。例如，竞争对手不能只输入新字母，而必须使用「backspace」命令删除原始字符串中的几个字母。对于 AlphaCode 来说，这只是中等难度的挑战：问题来自 Codeforces，解决方案是由 AlphaCode 生成的。Codeforces 创始人 Mike Mirzayanov 表示：「我可以肯定地说 AlphaCode 的结果超出了我的预期。对此，有人怀疑我这么乐观，因为他们认为即使在简单的竞赛问题中，参赛选手不仅需要编写常规算法，还需要创新新算法，而这一部分是最困难的。但目前看来，AlphaCode 的表现与一个前途无限的人类参赛者相当，我迫不及待地想看看未来会发生什么！」想要 AI 在编程比赛中脱颖而出并不容易，DeepMind 通过将大规模 transformer 以及采样、过滤相结合，AlphaCode 在解决问题数量上取得了重大进展。DeepMind 在选定的公共 GitHub 代码上预训练模型，并在相对较小的编程数据集上对其进行微调。在评估期间，研究者为每个问题创建了大量的 C++ 和 Python 程序，且数量级比以前的工作大几个数量级。然后对这些解决方案进行筛选、聚类和重新排序，将这些解决方案分配到一个由 10 个候选程序组成的小集合中，并提交给外部评估。这个自动化系统取代了竞争对手的调试、编译、通过测试和最终提交的反复试验过程。在 Codeforces 的允许下，DeepMind 通过模拟参与 10 场比赛来评估 AlphaCode。参赛者仅凭复制以前的解决方案等捷径来参加比赛是不可能取得好成绩的，相反，模型必须创造出新颖有趣的解决方案。此外，该研究还在 CodeContests 测试集上检验了问题解决率和样本量的关系，结果如下图所示：来自谷歌的世界级竞赛程序员 Petr Mitrichev 表示：「解决竞争性编程问题是一件非常困难的事情，需要良好的编码技能和人类解决问题的创造力。AlphaCode 在这一领域取得的进展给我留下了深刻的印象，很高兴看到 AlphaCode 使用语言理解能力来生成代码并进行随机探索以创建新的解决方案。」DeepMind 表示将继续这一探索，研发更智能的 AI 模型，这仅仅是一个开始。https://www.deepmind.com/blog/competitive-programming-with-alphacode
是成就还是削弱？AI代码生成工具与程序员的「相爱相杀」
