近日,机器学习资源网站 PapersWithCode 上线了一项新功能,对于其举办的论文复现挑战赛 RC2020 中提交的一些论文,它们将提供详细的复现报告。这是 ML 社区重视「研究论文可复现性」的新信号。
现在,越来越多的机器学习(ML)研究者选择在论文发表时同步公开自己的代码,像 arXiv 这样的论文预印本平台也选择与机器学习资源网站 Papers with Code 合作,支持研究者在 arXiv 页面上添加代码链接。ICML、ICLR、NeurIPS 等一些顶会也要求投稿人在提交论文的时候附上代码,以供审稿人测试,确保其研究结果的可复现性。但这一切仍然不代表论文复现变得容易了。前段时间,Reddit 用户「ContributionSecure14」在花费长时间复现一篇论文失败后,产生了专门列出无法复现论文清单的想法。他创建了一个名为「Papers Without Code」的 ML 研究反馈平台,专门挂出那些大家都无法复现的论文研究。如果提交内容有效,则 Papers Without Code 方面将与该论文原作者联系,并要求其澄清或公布实现细节。论文成功复现后,可以在 PapersWithCode 或 GitHub 上发布,供其他研究人员参考。如果作者未及时答复,该论文将被添加到「不可复现的机器学习论文列表」中,公开处刑。 目前,该网站上挂出了 19 篇论文,详细列出了标题、链接、提交原因以及解决与否,可以看到有 8 篇论文显示「已被解决」。但应看到,该网站创建数月以来,也仅仅提交了 19 篇论文,对于提升机器学习社区可复现方面远远不够。近日,ML 领域著名的论文和代码资源网站 PapersWithCode 终于向「有代码也复现不了」这一老大难问题下手了,宣布其上线了新功能:论文可以链接到复现报告了!这是 ML 社区重视研究论文可复现性的新信号。PapersWithCode:论文终于有复现报告了PapersWithCode 以 ICML 2020 论文《Training Binary Neural Networks using the Bayesian Learning Rule》为例展示「论文复现报告」这项新功能。可以看到,PapersWithCode 在论文下方提供了复现报告,包括提交日期和报告摘要。大家或者注意到了这份复现报告的提交者为「RC 2020」,这是 PapersWithCode 组织的一项 ML 顶会论文复现挑战赛。这项赛事的目的是鼓励可靠且可复现研究成果的发表和分享,ML 社区的成员可以选择顶会接收的论文来尝试复现。所有的复现报告都将通过 OpenReview 进行同行评审,并显示在 PapersWithCode 网站原始论文的下方。在每年的复现挑战赛中,一批在「洞见性、正确性、逻辑清晰」等方面表现优秀的论文会发表在 ReScience C 期刊上。与其他传统科学期刊截然不同,ReScience C 可以说是一个 GitHub 项目,提供了关于计算研究的每个新实现以及评审、解释和测试。PapersWithCode 的示例论文《Training Binary Neural Networks using the Bayesian Learning Rule》就发表在了该期刊上。目前,OpenReview 列出了所有在 RC 2020 挑战赛中被 ReScience C 接收的论文列表。论文列表地址:https://openreview.net/group?id=ML_Reproducibility_Challenge/2020用户现在可以在 PapersWithCode 和 ReScience 上查看所有 RC2020 挑战赛中的论文复现报告。不过,目前提供复现报告的论文覆盖面还很小。PapersWithCode 的共同创建者 Robert Stojnic 表示:「目前只有经过 OpenReview 同行评审且被 ReScience 接收的论文才能提供复现报告。」希望未来 PapersWithCode 可以提供其网站上所有提交论文的复现报告。可复现性是科学领域长期关注的话题,更是机器学习社区的重点关注问题。为了解决论文可复现难题,从顶会到个人一直都在努力。NeurIPS 组委会从 2019 年起就鼓励论文作者提交代码(非强制),目前成效显著。在 NeurIPS 2019 的最后提交阶段,有 75% 的被接收论文附带了代码。随后,NeuIPS 将代码提交从「鼓励」变成了「强烈建议」(仍不强制),还提供了提交代码的准则和模板。2020 年底,机器学习资源网站 Papers with Code 宣布与论文预印本平台 arXiv 进行合作,论文作者在 arXiv 上上传论文时可以同步上传官方和社区代码。此外,AAAI Fellow、加拿大计算机科学家 Joelle Pineau 教授创建了「机器学习可复现性调查表」,这个清单为如何使其他研究人员清楚并重现机器学习论文的描述、代码和数据提供了明确的指导原则。网站地址:https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf这些措施有助于解决论文可复现性问题,并进一步促进开放性科学研究的发展。参考链接:https://paperswithcode.com/rc2020