Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

魔王编辑

一天刷到5篇「x is All You Need」,当学术论文开始标题党……

在机器学习论文数量迅速增加的当下,「标题党」趋势也正在抬头。然而,「标题党」虽好,也要当心同质化啊。

2017 年 6 月,Transformer 横空出世,迅速成为自然语言处理领域中的主流预训练模型,并在近期迎来了在计算机视觉等多个领域中的跨界应用热潮


但它引领的潮流不止于此。其原始论文《Attention is All You Need》发表后,各种标题中包含「X is All You Need」的论文层出不穷。

但此类「X is All You Need」论文篇篇都有高含金量吗?X 真的重要到「All You Need」的程度吗?还是论文作者把这个句式当做「财富密码」?或许我们可以从其「通货膨胀」程度一窥究竟。

佐治亚理工学院机器学习博士生 Aran Komatsuzaki 发推表示:「光今天的 arXiv feed 流就出现了大概五篇标题中包含『X is All You Need』的论文。现在这个句式可能已经过于普遍了。」


机器之心在 arXiv 平台上以「All You Need」作为关键词进行了搜索,仅 2 月份标题中包含「All You Need」的论文就多达 6 篇,部分截图如下:

图源:https://arxiv.org/search/?query=All+You+Need&searchtype=title&abstracts=show&order=-announced_date_first&size=50

无独有偶,今天 reddit 上也有一个讨论论文标题党的热帖:「A Good Title Is All You Need」。这个帖子的标题可以说很讽刺了。


发帖人表示:很怀念从论文标题就能看出文章主要结论的「旧时光」。然而现在一大堆标题为「X is All You Need」的论文只是展示了应用 X 之后的边际效应。

除了「X is All You Need」类标题以外,发帖人还吐槽了另一种常见的论文标题模式,即描述方法而不透露结果,例如「Reinforcement Learning with Bayesian Kernel Latent Meanfield Priors 」。这种标题比「X is All You Need」类标题好一些,但它只描述了作者做的事情,并未陈述观察结果 / 实验结果。

当学术论文开始「标题党」,它们是会小试牛刀,还是在这条路上越走越远呢?

在这个热帖评论里,我们或许能够找到答案。


当你在 2021 年的春天思考会不会出现「我尝试了一个新的目标函数,效果不敢相信!」、「OMG,这个新方法让你神魂颠倒」的论文标题时……(本编辑:翻译这类标题,我不相信自己会输!)

有人在 2016 年就已经开始了:We used Neural Networks to Detect Clickbaits: You won't believe what happened Next!(我们用神经网络检测了标题党,难以相信竟然发生了这样的事!)(不过,这个标题或许是对它要研究的「标题党」的反讽。)

对于这类标题,评论区大部分人认为属于「标题党」,并表示不希望学术论文的标题和油管视频一个风格。

但也有人表示无奈:

不可否认,这类标题会增加吸引到读者注意力以及被记住的概率。


看来,机器学习领域论文数量暴涨不只给论文评审带来了难题。

参考链接:
https://www.reddit.com/r/MachineLearning/comments/lqh9br/d_a_good_title_is_all_you_need/
https://twitter.com/arankomatsuzaki/status/1364041692651745280
理论arXivTransformer
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
推荐文章
暂无评论
暂无评论~