深度学习顶级学术会议 ICLR 2023（ International Conference on Learning Representations）审稿意见已出炉。对于论文作者而言，真是「几家欢喜，几家忧」。
根据官方统计，今年共计有 6300 份初始摘要投稿和 4922 份经过评审的投稿，其中经过评审的投稿比去年增加了 32.2%。在 4922 份投稿中，有 99%（4883）得到了至少 3 份评审，一共有超过 18500 份评审。
贴心的网友还为各位小伙伴爬取了本次审稿的得分排名，大家可以前去查看：
地址：https://docs.google.com/spreadsheets/d/1INZI9epkfBkPOlKuJFaffUCOKDns87Iqg4zovHnf-zs/htmlview#gid=625873159
上述链接一共统计了四千多篇论文得分情况，平均得分在 8 分以上的有 41 篇，超过 7 分的（8 分及以上的也包含在内）有 233 篇。根据一位推特网友的统计，假如你的论文要进入前 25%，需要至少 5.67 的平均得分。
若按照去年的录用率 32.3% 来看（论文接收总数 1095 篇，最终投稿量 3391 篇），预估今年会有 1556 篇被录用，得分最低约为 5.50 分。若按照 2022 年的录用数量来看（1095 篇），今年前 1095 篇论文约占总量的前 22.6%，最低均分为 5.75 分。
图源：https://twitter.com/micahgoldblum/status/1588899476781301760
今年的大会不论是投稿量还是接收量都创了新高。下图为历年 ICLR 接收投稿数量，可以看出投稿数量逐年增长。
审稿结果一放出，引来众多网友的吐槽。比起以往学术顶会，ICLR 2023 的审稿似乎争议更大。我们来看一下两个具体的审稿问题。
论文受到伦理质疑，被打 1 分
有投稿者就介绍了一个荒唐的评审结果：声称自己的论文遇到了审稿人的伦理质疑，指出论文中使用的某术语具有歧视性并给出了低分 1 分，作者这里为了双盲没有说明具体术语，而是举出了一个类似的例子：「马尔科夫链」的「链」与奴隶制相关，会冒犯到一些人。
随时该作者也说明了马尔科夫链只是一个虚构的例子，但在他的论文中也发生了类似的事情。至于到底是什么词让审稿人认为违背伦理，我们不得而知。
「我们从来没有想过这个词会冒犯别人，这个词有几十年的历史，并且有数百篇关于这个主题的论文。我们也咨询过别人，没有人会觉得被冒犯。话虽如此，也许这对某些人来说是冒犯的，只是我们不知道而已。」
抱怨归抱怨，作者也在尽力处理这件事，以便论文能够顺利进行。
评分最高的论文被曝抄袭
根据博主 Guoqiang Wei 统计的论文接收数据，所有论文中评分最高的一篇是《Git Re-Basin: Merging Models modulo Permutation Symmetries》。
图源：https://guoqiangwei.xyz/iclr2023_stats/iclr2023_submissions.html
论文地址：https://arxiv.org/abs/2209.04836
这篇论文提出了三种算法，首次展示了 CIFAR-10 和 CIFAR-100 上独立训练的 ResNet 模型之间的零障碍线性模式连接。这项研究表明深度学习中简单的 SGD 算法在高维非凸优化问题上也非常有效。
这篇论文迅速引起热议，Pytorch 的联合创始人 Soumith Chintala 也在推特上称赞：「将该思路用于更大的环境设置会有更大的收益，将扩展 ML 模型的开发，并在开源的联合开发模型中发挥巨大作用。」
但最近有人在该论文的 public comment 中指出这篇论文涉嫌抄袭，并经过详细推导证明它与先前的工作是等价的。
发表这份 comment 的 Sidak Pal Singh 是马克斯 · 普朗克智能系统研究所和瑞士苏黎世联邦理工学院的博士研究员。他的主要研究领域是深度学习理论、优化和因果表征学习。
Sidak Pal Singh 犀利地指出 Git Re-Basin 这篇论文就是将先前的多项研究结合到了一起。他列举出之前的几项研究：
1. Ashmore, Stephen, & Michael Gashler. "A method for finding similarity between multi-layer perceptrons by Forward Bipartite Alignment." 2015 International Joint Conference on Neural Networks (IJCNN). IEEE, 2015.
2. Yurochkin, Mikhail, et al. "Bayesian nonparametric federated learning of neural networks." International Conference on Machine Learning. PMLR, 2019.
3. Singh, Sidak Pal, & Martin Jaggi. "Model fusion via optimal transport." Advances in Neural Information Processing Systems 33 (2020): 22045-22055.
4. Wang, Hongyi, et al. "Federated learning with matched averaging." arXiv preprint arXiv:2002.06440 (2020).
5. Tatro, Norman, et al. "Optimizing mode connectivity via neuron alignment." Advances in Neural Information Processing Systems 33 (2020): 15300-15311.
6. Entezari, Rahim, et al. "The role of permutation invariance in linear mode connectivity of neural networks." arXiv preprint arXiv:2110.06296 (2021).
并明确说明：
Git Re-Basin 论文中的算法 1 可证明与 OTFusion 基于激活的对齐方式相同。
Git Re-basin 的算法 2 和算法 3 与上述 [1,2,3,4] 中的方法高度相似。
许多结果或观察结果已在过去的一些研究中以类似的形式展示过，在这项工作只是重新呈现了一下。
该论文对一些已有研究的引用（例如上述论文 [3-5]）没有准确地关联关键贡献。
值得注意的是，Sidak Pal Singh 本人就是上述论文 [3] 的第一作者。
Sidak Pal Singh 认为 Git Re-Basin 这篇论文严重夸大了研究成果。学术论文在先前工作的基础上进一步拓展本没有错，但如果弄虚作假，模棱两可地阐述论文贡献就是学术不端，应该被指责。
对于 ICLR 2023 的论文接收结果，你有什么看法吗？欢迎在评论区留言讨论。
参考链接：
https://twitter.com/peter_richtarik/status/1591408710366408706
https://www.zhihu.com/question/564681248
https://openreview.net/forum?id=CQsmMYmlP5T
https://guoqiangwei.xyz/iclr2023_stats/iclr2023_submissions.html
