机器之心原创

2023/12/11 16:08

夸张！EMNLP投稿近5000篇，奖项出炉：北大、腾讯摘最佳长论文

本届 EMNLP 大会在投稿人数上创了新高，整体接收率也较上届略有提升。

EMNLP 是自然语言处理领域的顶级会议之一，EMNLP 2023 于 12 月 6 日 - 10 日在新加坡举行。

因为今年 ChatGPT 的爆火带动大模型、NLP 概念，EMNLP 2023 的投稿论文数量也达到近 5000 篇，甚至略高于 ACL 2023。

在接收率方面，长论文接收率为 23.3%，短论文接收率为 14%，整体接收率为 21.3%。这一数据相较 EMNLP 2022 的 20% 略有提升。

我们从这次 EMNLP 的 local chair 李海洲老师的一张 PPT 上，可以感受下这场大会的发展历程。

除了这些论文数据外，今年 EMNLP 的获奖论文也备受关注。

EMNLP 2023 颁发了最佳长论文、最佳短论文、最佳主题论文、最佳 Demo 论文和最佳行业论文各一篇，以及多篇不同赛道的杰出论文。

同时，官方公布了 EMNLP 2024 将于 2024 年 11 月 12-16 日、佛罗里达州迈阿密市举办。

EMNLP 2023 最佳长论文

论文标题：Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

论文地址：https://aclanthology.org/2023.emnlp-main.609.pdf
机构：北京大学、腾讯 WeChat AI

论文摘要：上下文学习为大型语言模型（LLM）提供了执行不同任务的演示示例，成为了一种很有潜力的机器学习方法。然而，LLM 如何从所提供的上下文中学习的基础机制仍在探索之中。

因此，北京大学和腾讯 WeChat AI 的研究者通过信息流的视角探究上下文学习的工作机制。研究结果发现，演示示例中的标签词发挥了锚点（anchor）的作用，具体表现为以下两个方面：

语义信息在浅计算层的处理过程中聚合为标签词表示；
标签词中的整合信息作为 LLM 最终预测的参考。

基于这些发现，研究者提出一种提升上下文学习性能的锚点重加权方法、一种加速推理的演示压缩技术、以及用于判断 GPT2-XL 中上下文学习误差的分析框架。

^{研究者提出的假设。在浅层，标签词从演示中收集信息，以形成语义表示来进行更深层处理；深层从标签词中提取并利用这些信息以形成最终预测。}

本文研究结果具有前景广阔的应用，再次验证了上下文学习的工作机制，为未来研究铺平了道路。

^{GPT2-XL 和 GPT-J 上不同压缩方法的结果比较。}

EMNLP 2023 最佳短论文

论文标题：Faster Minimum Bayes Risk Decoding with Confidence-based Pruning

论文地址：https://aclanthology.org/2023.emnlp-main.767.pdf
机构：剑桥大学

论文摘要：最小贝叶斯风险（MBR）解码是输出在模型分布上对某个效用函数具有最高预期效用的假设。在条件语言生成问题，尤其是神经机器翻译中，无论是在人类评估还是自动评估中，它的准确性都超过了束搜索（beam search）。然而，基于采样的标准 MBR 算法的计算成本远高于束搜索，它需要大量采样以及对效用函数的二次调用，这限制了它的适用性。

本文介绍了一种 MBR 算法，它可以逐渐增加用于估计效用的样本数量，同时剪枝根据引导抽样获得的置信估计不太可能具有最高效用的假设。与标准 MBR 相比，该方法所需的样本更少，调用效用函数的次数也大幅减少，同时准确性方面相差无几。

^{算法 2：基于置信的剪枝函数。}

研究者使用 chrF++ 和 COMET 作为效用 / 评估指标，在三种语言对的实验中证明了该方法的有效性。

^{实验结果。}

EMNLP 2023 最佳主题论文

论文标题：Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs Through a Global Prompt Hacking Competition

论文地址：https://aclanthology.org/2023.emnlp-main.302.pdf
机构：马里兰大学、Mila、 Towards AI、斯坦福大学等

论文摘要：大型语言模型 (LLM) 通常部署在用户直接参与的交互式环境中，例如聊天机器人、写作助手。这些部署很容易受到即时「注入」和「越狱」（统称为即时黑客攻击）的攻击，其中模型被操纵以忽略其原始指令并遵循潜在的恶意指令。尽管人们广泛认为这是一个重大的安全威胁，但关于即时黑客攻击的定量研究仍然比较少。

因此，该研究发起了全球即时黑客竞赛，允许自由形式的人工输入攻击，并针对三个 SOTA LLM 提出了超过 60 万条对抗性 prompt。实验结果表明，当前的 LLM 确实可以通过即时黑客攻击进行操纵。

^{prompt 黑客技术分类。}

EMNLP 2023 最佳 Demo 论文

论文标题：PaperMage: A Unified Toolkit for Processing, Representing, and Manipulating Visually-Rich Scientific Documents

论文地址：https://aclanthology.org/2023.emnlp-demo.45.pdf
机构：艾伦人工智能研究院、MIT、加州大学伯克利分校、华盛顿大学、美国西北大学

论文摘要：科研领域的学术文献往往是复杂的、理论的，并且大部分是 PDF 格式的文档，查阅文献需要花费大量时间。为了解决该问题，该论文提出一个开源的 Python 工具包 ——papermage，用于分析和处理视觉效果丰富、结构化的科学文档。

papermage 通过将不同的 SOTA NLP 和 CV 模型集成到一个统一的框架中，为科学文献提供了清晰直观的抽象，并为常见的科学文档提供处理用例。在学术文献搜索引擎 Semantic Scholar 的支持下，papermage 已经可以处理多个 AI 应用研究原型的科学文献。

EMNLP 2023 最佳行业论文

论文标题：Personalized Dense Retrieval on Global Index for Voice-enabled Conversational Systems

论文地址：https://aclanthology.org/2023.emnlp-industry.9.pdf
机构：亚马逊 Alexa AI 研究团队

论文摘要：语音控制的人工智能对话系统容易受语音变化噪音的干扰，并且难以解决含糊不清的实体问题。通常情况下，部署个性化实体解析（ER）、查询重写（QR）从这些错误模式中恢复。以往的工作通过限制检索空间至用户与设备的历史互动建立的个性化索引来实现个性化。虽然这种限制性检索能够实现高精度，但预测仅限于用户近期历史中的实体，因此无法广泛覆盖未来的请求。此外，为大量用户维护单个索引需要既耗费内存又难以扩展。

本文提出了一种个性化实体检索系统，它不局限于个性化索引并对语音噪声和歧义具有稳健性。研究者将用户的收听偏好嵌入到检索中使用的上下文查询嵌入中。他们展示了提出模型纠正多种错误模式的能力，并在实体检索任务上比基线提高了 91%。他们还优化了端到端方法，使其在保持性能提升的同时，也符合在线延迟的限制。

其他杰出论文奖

除了以上奖项，EMNLP 2023 官方还颁发了一些赛道的杰出论文奖，如宾夕法尼亚州立大学研究者的论文《The Sentiment Problem: A Critical Survey towards Deconstructing Sentiment Analysis》获得了情感分析、文体分析和论据挖掘赛道的杰出论文奖。

^{图源：https://twitter.com/PranavVenkit/status/1733856362214674848}

苏黎世联邦理工学院（ETH）博士后研究员 Ethan Gotlieb Wilcox 参与的两篇论文获得了杰出论文奖。

^{图源：https://twitter.com/weGotlieb/status/1733794210074243348}

蒂尔堡大学、阿姆斯特丹大学研究者的论文《Homophone Disambiguation Reveals Patterns of Context Mixing in Speech Transformers》也获得了杰出论文奖。

^{图源：https://twitter.com/gchrupala/status/1733788397976650154}

产业EMNLP

相关数据

李海洲人物

李海洲教授现任新加坡国立大学电气与计算机工程系终身教授，同时也是澳大利亚新南威尔士大学教授、国际语音通信学会 (ISCA) 首位华人主席、亚洲自然语言处理协会 (AFNLP) 主席、亚太信号与信息处理学会（APSIPA）主席、美国电气与电子工程师学会（IEEE）音频、语音、和语言处理汇刊总编。李海洲教授在国际期刊上已发表了 500 余篇技术论文和学术论文，并多次获最佳论文奖。研究方向包括说话人识别，人声分离，语音识别、语音分析处理，信息检索、机器学习和数字信号处理等多个领域。研究成果自 2008 年起在美国国家标准与科技局年度评测中名列前茅。2018年8月，李海洲教授加入厦门快商通科技股份有限公司，担任快商通首席科学家，全面指导快商通新加坡人工智能研究院。

来源：相关新闻 Li, H.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

神经机器翻译技术

2013 年，Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络（CNN）将给定的一段源文本编码成一个连续的向量，然后再使用循环神经网络（RNN）作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译（NMT）的诞生；神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型，而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外，RNN 应该还能得到无限长句子背后的信息，从而解决所谓的「长距离重新排序（long distance reordering）」问题。

来源：机器之心

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中，我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。数据通常包含噪音，错误，例外或不确定性，或者不完整。错误和噪音可能会混淆数据挖掘过程，从而导致错误模式的衍生。去除噪音是数据挖掘（data mining）或知识发现（Knowledge Discovery in Database，KDD）的一个重要步骤。

来源：Han J.; Kamber M.; Pei J. (2011). Data mining: concepts and techniques. Morgan Kaufman.

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统，但大多简单的系统只会撷取输入的关键字，再从数据库中找寻最合适的应答句。

来源：维基百科

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

对话系统技术

对话系统大致被分成两类：任务为导向的对话系统，帮助用户去完成特定任务，比如找商品，订住宿，订餐厅等。实现任务为导向的对话系统，主要有两类方式，流水线方法和端到端方法。非任务导向的对话系统，与用户进行互动并提供回答，简单的说，就是在开放领域的闲聊。实现非任务导向对话系统也主要可分为两类，生成方法和基于检索的方法。

来源：CSDN

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/