昨日,机器之心发布了一篇题为《从 Yoav Goldberg 与 Yann LeCun 争论,看当今的深度学习、NLP 与 arXiv 风气》的文章,文中 Yann LeCun 在 Facebook 对 Yoav Goldberg 的批评文章做出了回应。接着,Yoav 又在 Medium 对 Yann 的回应进行了再回应,甚至稍后在推特上也有争论。机器之心对 Yoav 的第二次发文进行编译,并广泛收集了国内外各个平台上的各家评论,试图对这次事件有一个全面客观的描述。译文内容不代表机器之心立场。原文链接见文末。
很感谢大家对于我上篇博文(An Adversarial Review of「Adversarial Generation of Natural Language」)的关注和讨论,也很感谢 Yann 在 Facebook 上做出的回应。下面,我将对其回应做一次再回应。
(我选择了在 Medium 而不是 Facebook 上做再回应,是因为我并不太常使用 Facebook,所以索性不用。我已经把大把时间花在了社交网络上,不想再多跳进一个坑。同时,Medium 更有利于我组织文章格式,把控内容。)
Yann 指出我的上篇博文是「背弃式」的(back-pedaling),我并不如此看。对于上篇博文中批评的那篇蒙特利尔大学的论文,我言之有据,虽然不是严肃的论文形式,但是其表达的观点不会改变。不管怎么样,下面我会继续用我的「背弃式」言论来回应 Yann:
我并不反对将深度学习方法应用于自然语言任务上。
我的意思是说,come on。我是很多把深度学习用于自然语言的论文的联合作者,我曾做过题为「LSTM 应用」的演讲。最近我发表了一本关于如何把神经网络方法应用于 NLP 的书籍。深度学习方法正在为了 NLP 而发生改变,我认为这部分现在要很好地确立起来。
我所反对的是这样一种趋势,深度学习这群人(deep-learning community)对于其所要踏入的领域(包括 NLP)只有肤浅认识,不多花时间对问题领域做深入了解就直接给出大而未经证实的主张。这不是「交流机制还没有建立」的问题,而是不花时间和精力去通晓你所在领域的问题。不一定要知晓先前的所有工作,但要知道基本的定义和评价指标。宣称取得了「当前最佳的汉语诗歌生成结果」(引自论文摘要)是荒诞的。声称「我们评估了 CFG 的使用」,却没有搞明白 CFG 代表什么不仅仅是草率、马虎的问题了。使用 PCFG 分配的可能性作为衡量以「捕捉句子的语法性」是完全错误的(并非不道德)。
(并且写下由 1-hot 编码向量组成的矩阵外表上看起来和盲文代码相似,因此这是「我们的方法为什么有效」的灵感(Zhang 和 LeCun 2015 arXiv 论文 1-4 版 https://arxiv.org/pdf/1502.01710v4.pdf),这篇论文是愚蠢的。)
当我说「你应该尊重语言」时,我并不是在说你应该尊重之前的其他努力和方法论(尽管也可以对你很有帮助),而是在说你应该去注意所要解决问题的细微差别。至少有个足够的了解,这样你的评估才有意义。
一些「核心深度学习」研究者在这方面做的很好,贡献很大。Kyunghyun Cho(译者注:纽约大学计算机科学系助理教授)也许是其中最突出的一个。
现在,回到 arXiv 的问题上来:
我认为 Yann 的回应在这个问题上错失了重点。我并不介意在 arXiv 上快速发文。我看到了 arXiv 出现的明显收益和快速转变。但是也应该知道其缺点。我尤其关心科学与 arXiv 所推动的公共事业的混淆;雪球效应以及权力的滥用;深度学习社区中现有的一些出版现象。
提早在 arXiv 上发文没有问题,但是名不副实以及过分宣称就有问题。马虎的带有大而空洞标题的论文(比如自然语言的对抗式生成)就是有害的。这正是合理的专利系统与沽名钓誉的真正区别。
声称在用于离散序列的 WGAN 中使用了 softmax 而不是独热输出没有问题,但是占坑声称将对抗式训练应用于 NLG 就存在问题,正如这篇论文所做的那样。
Yann 的论点可能是:「但是人们可以阅读论文,辨别出什么才是好论文,时间会告诉我们答案。」时间的纠正也许是对的,但是中短期内知名团队的过分宣传的论文依然是有害的。大多数人并不深读一篇论文,他们只看个标题、摘要或简介,但是对于知名团队的论文,人们倾向于相信其主张而不质疑。认真的研究者也许不会这样做,但是大多人很可能会被误导。这里我所指的大多数人并不真正工作于这一精确的子领域。这包括产业界人士、同僚、潜在的学生以及论文和津贴的潜在评论者。在这篇论文出来的很短时间内,我在若干个场合下已经听说,「哦,你对生成感兴趣?你尝试使用 GAN 了吗?我看到在最近的这篇论文中他们把 GAN 应用于 NLG 取得了很酷的结果。」这对于在来年申请津贴的 NLG 研究者来说极其有害和令人厌恶,因为他们要么浪费宝贵的时间和精力处理这篇论文和 Hu 等人的论文,并解释它们为什么不相关;要么他们因为致力于「这一已经解决的问题」而被解雇,尽管这篇论文和 Hu 等人的论文并没有实际贡献太多价值,尽管两篇论文的评估都非常糟糕。
arXiv 的快节奏对当前领域有着积极的影响,但是「能力越大,责任越大」,我们必须小心谨慎才不至于滥用。我们可以通过负责任地采取行动,推动更加科学化的出版文化,从而使 arXiv 变的更强大,在其中我们重视和鼓励合理的评估和研究成果的精确呈现,并劝阻(甚至开发一个惩罚系统)民粹言论、过分宣称和夸大其事。
原文链接:https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02
各方评论
对于 Yoav 的第二次发文回应,Yann 旋即在推特上展开了回应:
谷歌大脑研究人员 hardmaru 直接引用了 Yoav 第二次发文的原话「oh, you are interested in generation? have you tried using GANs? I saw this recent paper in which they get cool results with adversarial learning for NLG」来表达自己的看法:
Keras 作者、谷歌深度学习研究员 François Chollet 认为我们不应该将精力浪费在这种学术琐事上:
以及推特上稍早一些的评论,比如 Quora 工程副总裁 Xavier Amatriain 的 tweetstorm:
俄勒冈大学计算机与信息科学助理教授 Daniel Lowd 谈了下深度学习对评审制度的改变:
UC Santa Barbara 计算机科学系助理教授王威廉在微博上就 arXiv 占坑现象表达了其看法:
知乎上的也有不少点评(详情可参阅:https://www.zhihu.com/question/60902505),比如知乎用户 Yun Zhou:
约翰·霍普金斯大学 Research and Teaching Assistant 梅洪源对 Yun Zhou 的答案作了评论补充:
清华大学计算机科学与技术系助理研究员刘知远的点评:
另外,刘知远还在其微博上发表了 LeCun 对于 Yoav 的批评的看法:
北京邮电大学 PRIS 模式识别实验室陈老师(微博名称 爱可可-爱生活)在微博上也表达了其看法:
最后,再附上来自机器之心公众号第一篇文章报道的的读者评论: