AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文

人工智能顶级国际会议AAAI即将举办,腾讯AI Lab第2次参与,共27篇文章入选。针对实验室关注自然语言处理领域的三大研究热点:知识库与文本理解、对话和文本生成、和机器翻译,本文将进行详细解读。Enjoy!

美国人工智能年会(the Association for the Advance of Artificial Intelligence),简称AAAI,是人工智能领域的顶级国际会议。会议由AAAI协会主办,今年是第33届,于1月27日-2月1日在美国夏威夷举行。腾讯AI Lab第2次参与会议,共27篇文章入选,涵盖自然语言处理计算机视觉机器学习等领域。

其中,腾讯AI Lab在自然语言处理领域,主要关注知识库与文本理解、对话和文本生成、和机器翻译这三大方向。以下为详细解读。

知识库与文本理解

自然语言处理研究中,各种类型的知识(Knowledge,包括语义知识、实体关系知识、常识知识)已成为文本理解和下游任务中不可或缺的数据资源。腾讯AI Lab的多篇AAAI 2019论文关注了知识库的建模,及其在文本理解上的应用。

知识库与短文本理解

1.基于Lattice CNN的中文问答匹配方法

Lattice CNNs for Matching Based Chinese Question Answering

问答系统是普通用户使用知识库最直接的渠道。匹配用户问题这种短文本,通常面临相同语义的单词和表达方式不唯一的挑战。 中文这种还需要额外分词的语言中,这种现象尤为严重。在论文《基于Lattice CNN的中文问答匹配方法(Lattice CNNs for Matching Based Chinese Question Answering)》中,研究者提出一个基于Lattice CNN的模型,利用在单词语义中多粒度的信息来更好地处理中文问答的匹配。在基于文本问答和知识库问答的实验中,实验结果表明提出的模型可以显著超过目前最好的匹配模型。

基于Lattice CNN模型理解短文本的框架

涉及新实体的知识库嵌入

2.基于逻辑注意力邻域聚集的归纳知识图谱嵌入方法

Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding

知识库嵌入的目的是用低维向量建模实体和关系,用于下游任务。已有方法大多要求所有实体在训练时可见,这在每天更新的知识库中是不切实际的。在论文《基于逻辑注意力邻域聚集的归纳知识图谱嵌入方法(Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding)》中,研究者使用同时训练邻域聚集模型的方式来去除这种限制,并提出一种基于规则和注意力机制的聚集模型,即逻辑注意力网络(LAN)。在两个知识图谱补全任务上,LAN被证明优于传统聚集模型。

涉及新实体(Emerging Entity)的链接预测任务

常识知识库与故事补全

3.结构化常识在故事补全中的应用

Incorporating Structured Commonsense Knowledge in Story Completion

为故事选择恰当的结尾可以视作通往叙述型文本理解的第一步。这不仅需要显式的线索,还需要常识知识,而绝大多数已有工作都没有显式的使用常识。在论文《结构化常识在故事补全中的应用(Incorporating Structured Commonsense Knowledge in Story Completion)》中,研究者提出一个整合了叙述线索、情感演变以及常识知识的神经网络模型。这个模型在公共数据集ROCStory Cloze Task上取得了最好的性能。实验结果同时显示,引入常识知识带来了显著的性能增益。

故事和结尾中的关键词在常识知识库中的联系

对话和文本生成

近年来,随着端到端的深度神经网络的流行,对话生成及更多场景的文本生成逐渐成为自然语言处理中一个热点研究领域。其中,对话生成技术正逐渐广泛地应用于智能对话系统,帮助实现更为智能的人机交互,也可以通过自动生成新闻、财报及其它类型的文本,提高撰文者的工作效率。

在对话生成问题上,通过迁移神经机器翻译序列到序列模型等,对话生成的效果取得了显著的进展。然而,现有的对话生成模型仍存在较多问题。首先,目前的模型大多模拟的是输入到回复一对一的映射,而实际对话数据经常是一对多的关系的训练方式,因此模型容易输出通用回复,欠缺回复多样性。其次,目前的回复生成模型缺乏对于用户背景、通用常识等知识的理解,因此如何挖掘更多有用的知识来指引回复生成是一个重要的研究问题。再次,目前多数的研究工作重点在提升单轮回复的生成之类,而缺乏对多轮对话生成的改进,多轮回复生成的质量仍较差。

在文本生成问题中,根据不同的输入类型,现有的研究任务大致划分为三大类:文本到文本的生成,数据到文本的生成以及图像、视频、音频到文本的生成。每一类的文本生成技术都极具挑战性,在近年来的自然语言处理人工智能领域的顶级会议中均有相当多的研究工作。

腾讯AI Lab在对话生成及文本生成技术均有相关的论文被AAAI2019接收。

短文本中生成回复

4.短文本对话中的多样性回复

Generating Multiple Diverse Responses for Short-Text Conversation

短文本生成任务之前的工作,主要聚焦在如何学习一个模型为输入及其回复建立一个一对一的映射关系。但在实际场景中,一个输入往往有多种回复。因此,研究者提出了一种新的回复生成模型,在训练过程中考虑了一个提问同时具有多个回复的情况。具体来说,假设每个输入可以推断出多个潜在词,不同的回复是围绕着不同的潜在词而产生的。研究者设计了一个基于强化学习算法的对话生成模型。如下图所示,所提出的框架主要有两个核心部分:(1)潜在词推断网络:其根据输入的提问来选择合适的潜在词作为生成网络输入的一部分;(2)生成网络,根据潜在词推断网络选择的潜在词以及输入的提问来生成回复。基于强化学习的训练过程中,使用F1值来计算潜在词推断网络的奖赏并更新推断网络参数,并选取这多个回复中损失最小的一项来更新生成网络参数

模型框架图

微博(左)和Twitter(右)数据集人工评测结果

研究者分别在微博和Twitter两个数据集上进行大量实验,人工评测的结果表明所提出的模型相比多个之前的模型,在提升回复信息量的同时保证了回复的多样性。以下是基线模型MultiMech和我们所提出的模型在微博数据集上的生成样例。方括号内为潜在词推断网络选择的潜在词。

微博数据集生成样例

多选干扰项生成

5.阅读理解问题的干扰选项生成

Generating Distractors for Reading Comprehension Questions from Real Examinations

本文探究了考试中为多选阅读理解题型生成干扰项的任务。和之前工作不同,研究者不以生成单词或短语类型的干扰项为目的,趋向生成更长并含有丰富语义信息的干扰项,从而生成的干扰项和真实考试中阅读理解题目的干扰项尽可能接近

模型框架概览

如图所示,以阅读理解文章,问题和正确的答案选项作为输入,目标是生成多个与答案有关联,和问题语义上连贯并能在文章中找到蛛丝马迹的干扰项。研究者提出了一个层次编码器-解码器模型,辅之以静态与动态注意力机制来解决这个任务。具体来说,动态注意力机制可以融合句子级别和词级别的注意力信息,并在解码的每一个步骤会有所变化,从而生成一个可读性更强的序列。静态注意力机制可以调制动态注意力机制,打压与当前问题无关的句子或者包含正确答案的句子。

通过第一个阅读理解问题干扰项生成数据集上的实验,本文提出的模型超过了多个基线模型。人工评测中与一些基线模型生成的干扰项相比,其模型生成的干扰项更加容易迷惑标注者。

实验结果

新闻摘要生成

6.考虑读者评论的生成式文本摘要

Abstractive Text Summarization by Incorporating Reader Comments

在基于神经网络的生成式文本摘要研究领域中,传统的基于序列到序列的模型对文档主题的建模经常出错。为解决这个问题,研究者提出了读者感知的摘要生成任务,它利用读者的评论来帮助生成符合文档主题的更好的摘要。与传统的生成式摘要任务不同,读者感知型摘要面临两个主要挑战:(1)评论是非正式的,有噪音的; (2)联合建模新闻文档和读者评论具有一定挑战性。

为解决上述问题,本文设计了一个基于对抗学习的读者感知型摘要生成模型(RASG),它由四个部分组成:(1)基于序列到序列的摘要生成模块; (2)读者注意力建模模块来捕捉读者关注的主题; (3)督导建模模块来描述生成的摘要和读者关注主题之间的语义差距; (4)目标跟踪模块来产生每个生成步骤的目标。督导和目标定位模块以对抗学习的方式来指导我们框架的训练。

模型框架概览

研究者在自行收集的文摘数据集进行大量实验,结果表明RASG在自动评测和人工评测方面都取得了最好的效果。实验结果还证明了该框架中每个模块的有效性,同时研究人员发布了一个大规模数据集供进一步研究。

自动评测结果(左)和人工评测结果

机器翻译

机器翻译人工智能的终极目标之一,其核心语言理解和语言生成是自然语言处理的两大基本问题,极具挑战性。近几年来,随着深度学习技术的发展,神经网络机器翻译取得了巨大进展,其生成的译文接近自然句子,成为了主流模型。但是由于当前神经网络的不可解释性,无法保证原文内容完整传递到译文,使得神经网络翻译模型存在译文忠实度问题(即“达而不信”)。腾讯AI Lab专注于解决该核心问题,在AAAI2019会议上发表的多篇论文通过改进模型架构和训练框架,提升模型对源句理解和目标句生成的能力,从而改善神经网络翻译模型忠实度低的问题。

自注意力模型

7.上下文增强的自注意力神经网络

Context-Aware Self-Attention Networks

自注意力模型通过直接计算任意两个词的向量表示,得到它们的关联性强弱(图(a))。由于其极佳的并行性运算及捕获长距离依赖的能力,自注意力模型成为当前主流翻译模型(如Transformer)的核心组件。在本工作中,通过改进自注意力模型的全局上下文建模能力,从而更好地计算词间的关联性。研究者使用不同策略来建模全局上下文信息,如顶层全局信息(图(b))、深层信息(图(c))及深层全局信息(图(d))。为保持自注意力模型的并行性及简易性,研究者将上下文信息引入注意力模型输入(如Query和Key)的转化函数中。该论文是改进自注意力模型的第二个工作,前续工作(Modeling Localness for Self-Attention Networks, EMNLP2018)改进了自注意力模型的局部建模能力 。

深层模型

8.基于动态层融合的神经网络机器翻译

Dynamic Layer Aggregation for Neural Machine Translation

主流的翻译模型都是深层网络结构,比如Transformer模型的编码器和解码器都是由多层自注意力网络组成。近期多个工作表明不同层表示可以捕获输入句子不同级别的语言学信息,但主流模型只利用了编码器和解码器的最上层表示信息,而忽视了其余层包含的有用信息。本研究使用胶囊网络中的迭代路径 (iterative routing)算法融合所有层的表示,从而更好地利用不同层捕获的不同语言学信息。该论文为利用深层表示的第二个工作,前续工作(Exploiting Deep Representations for Neural Machine Translation, EMNLP2018)使用深层连接改进深层网络中信息和梯度的传递路径(Information and Gradient Flow),而本工作更关注于直接融合不同层表示(Representation Composition)。

忠实度导向的训练框架

9.基于译文忠实度训练的神经网络机器翻译

Neural Machine Translation with Adequacy-Oriented Learning

当前翻译模型的训练通常是基于最大化词的似然概率的框架。该框架有三个缺陷:(1)训练/测试不一致,训练时是基于正确的目标序列而测试时是由于包含错误的生成序列;(2)基于词级别的目标函数,而在实际场景中评判译文质量的指标通常是基于句子级别的;(3)最大似然估计更多是关注译文的流利度而不是忠实度,这也是导致模型偏好短译文的重要原因。

本研究尝试在统一框架中同时解决上述三个缺陷。如图1所示,将翻译建模成强化学习中的随机策略(Stochastic Policy)问题,而学习奖励则是基于模型生成的完整序列评估的。为了更好地评估译文的忠实度,本文提出了一种新的标准 – 覆盖差异率(Coverage Difference Ratio, CDR),通过比较生成译文和人工译文对源端词的覆盖程序,以评估有多少源端词被遗漏翻译。在图2展示的例子中,译文的 CDR=4/7,其中4和7分别是生成译文和人工译文中覆盖的源端词个数。 该论文中的覆盖率思想也是延续作者的前续工作(Modeling Coverage for Neural Machine Translation),在训练框架中验证该策略的普适性,实验同时证明两种方法具有一定互补性,同时使用可进一步提升翻译效果。

图 1 训练框架

图 2 CDR示例

除了改进基本的翻译模型,研究者同时探索辅助翻译,从而使当前神经网络机器翻译系统更好地为真实用户服务。围绕最近推出的辅助翻译产品TranSmart, 腾讯AI Lab发表在AAAI2019的论文(Graph Based Translation Memory for Neural Machine Translation) 将用户提供的或者自动检索的翻译记忆融入神经翻译模型,从而改善翻译质量。不同于现有的翻译记忆方法,本文将翻译记忆组织成一个压缩图并采用基于图的注意力机制来构建翻译的上下文。其优势是,既可以保证计算的有效性,又可以充分地建模翻译记忆中全局信息比如长距离的调序,因而获得了更好的翻译质量。

入选论文

精彩一览

10. MOBA游戏AI的多层次宏观策略模型

Hierarchical Macro Strategy Model for MOBA Game AI

该论文由腾讯AI Lab独立完成,在通用AI研究中,可解决部分可观测、团队协作、博弈等复杂AI问题。即时战略游戏是游戏AI的下一个挑战。即时战略游戏给AI研究提供了一个部分可观测的游戏环境,智能体在这样的环境中基于比围棋大的多的操作空间产生交互。攻克即时战略游戏需要同时具备强大的宏观策略及精准的微观执行。最近,研究人员在微观执行层面取得了巨大突破,然而宏观策略层面仍然缺乏完整有效的解决方案。该论文创新提出了基于机器学习的多层宏观策略模型以提升智能体在多人在线格斗游戏(MOBA)游戏 - 即时战略游戏的一个子类 - 中的宏观策略能力。经过多层次宏观策略模型训练的智能体显示的进行宏观策略决策以指导微观操作。更进一步的,每一个智能体在做决策的同时,通过本文创新设计的模仿跨智能体通信机制与其他智能体进行配合。研究者在一款风靡的5v5 MOBA游戏(王者荣耀)上充分验证了多层次宏观策略模型的效果。研究团队的5 AI战队在与前1%的人类战队的对战测试中,取得了48%的胜率。

11. 意见目标抽取以及目标情感预测的统一模型

A Unified Model for Opinion Target Extraction and Target Sentiment Prediction

该论文由腾讯AI Lab主导,与香港中文大学合作完成,该研究通过改进基本的序列标注模型来提升端到端抽取用户评论中的意见目标和相应的情感倾向的性能。基于意见目标的情感分析(TBSA)涉及到了意见目标抽取和目标情感预测两个子任务。目前的工作主要是将他们作为两个单独的任务来研究,对于实际应用的贡献是非常有限的。这篇文章的目标在于以一种端到端的方式来解决完整的TBSA任务。为了实现这个目标,本文提出了一个新的统一模型并在模型中采用了一种联合的标注方案。整个模型用到了两层循环神经网络(RNN):上层的RNN用来预测联合的标签,这些标签会作为主要任务TBSA的输出;为了引导上层的RNN更好的完成TBSA任务,本文引入了下层的RNN来同时解决辅助任务--意见目标实体的边界检测。RNN产生的边界特征表示可以直接用于提升目标情感预测的质量。为了探索任务之间的依赖,本文提出显式地对目标边界到目标情感极性的转换进行约束。本文也设计了一个组件对同一个意见目标内的情感一致性进行维持,这个组件主要基于门控制机制来对上一个时刻的特征和当前时刻的特征之间的关系进行建模。本文在三个标准数据集上进行了大量实验,结果表明本文的方法都比现有的方法更好。

12. 通过样本加权进行更好地微调文本分类模型

Better Fine-tuning via Instance Weighting for Text Classification

该论文由腾讯AI Lab主导,与南京大学合作完成。深度神经网络中使用迁移学习在许多文本分类应用中取得了巨大成功。一种简单而有效的迁移学习方法是对预训练的模型参数进行微调。之前的微调工作主要集中在预训练阶段,并且研究如何预训练一组对目标任务最有帮助的参数。本文提出了一种基于样本加权的微调(IW-Fit)方法,对于微调阶段进行了改进以提高分类器在目标域的最终性能。 IW-Fit动态调整每个微调时期的样本权重,以实现两个目标:1)有效地识别和学习目标域的特定知识; 2)很好地保留源域和目标域之间的共享知识。 IW-Fit中使用的样本加权计算指标与模型无关,对于基于DNN的通用分类器而言易于实现。实验结果表明,IW-Fit可以持续提高模型在目标域的分类精度。

13. 深层特征结构学习方法

Learning (from) Deep Hierarchical Structure among Features

该论文由香港科技大学与腾讯 AI Lab合作完成,提出了多种层次结构特征学习方法。数据中的特征通常存在着复杂的层次结构。大多数现有的研究侧重于利用已知的层次结构来帮助监督学习提高学习的精度,而且通常仅能够处理层次深度为2的简单结构。本文提出了一种深度层次特征学习方法(DHS),用于学习任意深度的特征层次结构,并且学习目标是凸函数。DHS方法依赖于结构中边上的权重的指数系数,然而这些指数系数需要提前人为给定,这会导致学习出的特征表达是次优的。基于DHS方法,本文又提出了可以自动学习这些指数系数的方法。进一步的,本文考虑层次结构未知的情况,并且在DHS的基础上又提出一种深度特征层次结构学习方法(LDHS)。不同于以往的方法,LDHS不需要知道关于层次结构的先验知识,而是通过fused-lasso技术和一种特定的序列约束条件直接从数据中学习出特征的层次结构。上述所有提出的模型的优化方法都可以通过近似梯度的方式求解,并且本文给出了求解过程中每个子问题的高效解答算法。本文在多种人工和真实数据集上进行了实验,结果表明了本文提出方法的有效性。

14. DDFlow:通过无监督数据蒸馏学习光流

DDFlow:Learning Optical Flow with Unlabeled Data Distillation

这项研究由腾讯AI Lab主导,与香港中文大学合作完成,提出一种无监督的数据蒸馏方法学习光流——DDFlow。该方法由一个教师模型中提取出预测结果,并用这些结果来指导学生模型学习光流。以往的无监督学习方法是通过一些人工设定的能量函数来处理被遮挡的区域,这篇论文的不同之处是通过数据来自动学习和预测被遮挡区域的光流。通过该方法,模型只需使用一个非常简单的目标函数,就能取得更高的准确率。本文在Flying Chairs, MPI Sintel, KITTI 2012 和 KITTI 2015四个数据集上做了详尽的实验。实验表明,本文提出的方法超过所有无监督的光流预测方法,并且可以实时运行。

15. 类间角度损失用于卷积神经网络

Inter-Class Angular Loss for Convolutional Neural Networks

这项研究由南京理工大学与腾讯AI Lab合作完成。卷积神经网络在各种分类任务中表现出强大的力量,并且在实际应用中取得了显着的成果。然而,现有网络在很大程度上忽略了不同类别对的区分学习难题。例如,在CIFAR-10数据集中,区分猫和狗通常比区分马和船更难。通过仔细研究卷积神经网络模型在训练过程中的行为,研究者观察到两类的混淆程度与它们在特征空间中的角度可分性密切相关。也就是说,类间角度越大,混淆度越低。基于这一观察,研究者提出了一种新的损失函数,称为“类间角度损失”(ICAL)。它明确地模拟了类相关性,可以直接应用于许多现有的深度网络。通过最小化ICAL,网络可以通过扩大它们对应的类向量之间的角度来有效地区分相似类别中的示例。对一系列视觉和非视觉数据集的全面实验结果证实,ICAL极大地提高了各种代表性深度神经网络的辨别能力,并为传统的softmax损失产生了优于原始网络的性能。

16. 基于最大化后验估计的词嵌入模型

Word Embedding as Maximum A Posteriori Estimation

这项研究由肯特大学与腾讯AI Lab合作完成。词嵌入模型GloVe可以被重构成一个最大似然估计问题,再通过优化的方式进行求解。该论文通过考虑基于GloVe参数化方法,同时结合先验分布来对GloVe词嵌入模型进行泛化。本文提出了一个新的词嵌入模型,该模型对每个上下文词的变化进行建模,来表示这个词的信息重要性。论文中提出的框架可以统一学习词向量和每个词的变化。实验表明本文提出词向量模型优于GloVe和它的其他变种。

17.可控的图像到视频转换:关于人脸表情生成的案例分析

Controllable Image-to-Video Translation: A Case Study on Facial Expression Generation

这项研究由腾讯AI lab主导,与麻省理工学院(MIT)合作完成。深度学习的最新进展使得利用神经网络生成如照片般逼真的图像成为可能,甚至可以从视频过去几帧推断出未来几帧——某种意义上,实现了从过去视频到未来视频的生成。为了进一步深化这种探索,同时也出于对实际应用的兴趣,我们研究了图像到视频的转换,特别关注面部表情的视频。与图像到图像的转换相比,该问题通过一个额外的时间维度来挑战深度神经网络;此外,这里的单张输入图像使大多数视频到视频转换的方法无法应用。为了解决这个新问题,研究者提出了一种用户可控制的方法,以便从单个人脸图像生成各种长度的表情视频剪辑,用户可控制视频的长度和表情的类型。因此,我们设计了一种新颖的神经网络架构,可将用户输入作用到网络的跳层连接上;同时,提出对神经网络对抗训练方法的若干改进。通过实验和用户研究验证了该方法的有效性。尤其值得强调的是,即使随机的网络图像和作者自己的图像相对于训练数据有较大的差异,本文的模型也可以生成高质量的面部表情视频,其中约50%被用户认为是真实采集的视频。

18. 利用考虑偏好的损失学习实现任务迁移

Task Transfer by Preference-Based Cost Learning

这项研究由清华大学与腾讯AI Lab合作完成。强化学习中的任务迁移旨在把智能体在源任务中的策略迁移到目标任务。尽管当前方法取得了一定成功,但是他们依赖于两个很强的假设:1)专家演示和目标任务精确相关 以及 2)目标任务中的损失函数需要显式定义。在实际中这两个假设都是难以满足。该论文提出了一个新颖的迁移框架减少对这两个假设的依赖,为此,研究者使用了专家偏好作为迁移的指导。具体而言,研究者交替进行以下两个步骤:首先,研究者通过预定义的专家偏好从源任务鸿挑选与目标任务相关的演示;然后,基于这些挑选的演示,研究者通过利用增强版的对抗最大熵模型来同时学习目标损失函数以及状态-操作的轨迹分布。该论文的理论分析证明了方法的收敛性。大量的仿真实验也验证了该论文方法的有效性。

19. 超越RNN:面向视频问答的具有位置特性的自注意力和交互注意力模型

Beyond RNNs: Positional Self-Attention with Co-Attention for Video Question Answering

这项研究由电子科技大学与腾讯AI Lab合作完成。当前,大部分实现视频问答的方法都是基于考虑注意力的递归神经网络(RNN)。虽然取得一些进展,但是RNN的局限性导致了这些方法往往需要花费大量训练时间却难以捕捉长时间关联。该论文提出了一种新的架构,具有位置属性的自注意力和交互注意力结合(PSAC),这个框架不再需要RNN来实现视频问答。具体而言,研究者从机器翻译自注意力的成功得到启发,提出了一种具有位置属性的自主力模型来计算同一个序列中每个位置自身的激活以及其与其他位置的相关激活。因此,PASC能利用问题与视频的全局依赖,并且使得问题和视频编码能并行进行。除了利用视频自注意力,研究者更进一步查询问题中“哪些单词需要注意”来设置交互注意力机制。据研究者所知,这是视频问答领域中首次尝试去抛开RNN而只用注意力模型。在三个公开的数据集上,本文的方法显著优于当前最好,并且在另外一个数据集上取得了接近当前最好的结果。与RNN模型相比,本文的方法在更短的运算时间取得了更高的精度。此外,本文还进行了若干对比实验来验证方法每个组件的有效性。

20. 置信加权多任务学习

Confidence Weighted Multitask Learning

这项研究由阿卜杜拉国王科技大学与腾讯AI Lab合作完成。为了缓解传统在线多任务学习仅利用了数据流的一阶信息的问题,我们提出置信加权多任务学习的算法。对于每个任务,它都维护了一个高斯分布来引导在线学习过程。高斯分布的均值向量(协方差矩阵)是一个局部成分和全局成分的和,其中全局成分是在所有任务间共享的。此外,本文也解决了在线多任务学习场景下主动学习的挑战。不同于索要所有样本的标签,所提算法可以基于相关任务的预测置信度来决定是否索要相应的标签。理论结果显示,后悔上界可以被显著的减小。经验结果表明,所提算法可以获得很高的学习性能,且同时可以减小标注成本。

21. 旨在提升asepct-level情感分类的、从粗粒度到细粒度的迁移学习

Exploiting Coarse-to-Fine Task Transfer for Aspect-level Sentiment Classification

这项研究由香港科技大学与腾讯AI Lab合作完成。Aspect-level的情感分类旨在找出句子里针对具体aspect的情感倾向,其中aspect可以是一个泛类(AC-level),比如食品、服务,也可以是一个具体的项(AT-level),比如三文鱼、时速。然而,由于极其耗时耗力的标注成本,当前AT-level的公开数据集都相对较小。受限于这些小规模的数据集,当前大多数方法依赖于复杂的结构,从而限制了神经网络模型的有效性。该论文提出了一个新的解决方案,即从数据相对充足的粗粒度任务(AC-level)到数据稀疏的细粒度任务(AT-level)进行迁移学习。为了解决两个领域在aspect粒度以及特征上的不一致,本文提出了一个多粒度对齐网络(MGAN)。在MGAN中,一个全新的Coarse2Fine注意力机制可以帮助AC-level的任务也可以建模同AT-level相似的细粒度。同时,一个对比的特征对齐方法用来语义对齐两个领域的特征表示。另外,本文提供了一个AC-level的大规模多领域情感分类数据集。大规模的实验证明了MGAN的有效性。

22. 基于属性仓库的表亲网络引导的素描图识别

Cousin Network Guided Sketch Recognition via Latent Attribute Warehouse

这项研究由腾讯AI Lab主导,与澳洲国立大学合作完成,本论文对扫描图片识别的问题进行研究。由于两个原因导致该问题难度较高:1)素描图片相对自然图片比较稀缺,2)素描图片与自然图片之间存在较大的鸿沟。为了克服这些困难,研究者提出了利用自然图像训练好的网络(表亲网络)来引导素描图片识别网络的学习过程。表亲网络将引导素描图片识别网络学习更多与自然图像相关的特征(通过对抗学习)。为加强分类模型的可迁移能力,一个连接自然图像和素描图像的属性仓库建立起来,以逼近自然图像和素描图像的域间差。实验证明本文提出的方法取得了当前最优的识别性能。

23. 层级化的照片场景编码器用于相册故事生成

Hierarchical Photo-Scene Encoder for Album Storytelling

这项研究由腾讯AI Lab主导,与山东大学合作完成。本文提出了一种用于相册故事生成的新型模型,该新型模型使用了层级相片-场景编码器和重构器。其中,相片-场景编码器包含两个子模块,分别是相片编码器和场景编码器,它们重叠在一起,以分层的形式充分利用相册中照片的结构信息。具体来说,相片编码器利用相册中相片的时序关系的同时,为每一张照片生成语义表示。场景编码器依赖于生成的相片语义表示,负责检测相册的场景变化并生成场景特征。接着,解码器动态地、有选择性地总结这些编码的相片和场景语义表示,用以生成相册表示序列。基于此,一个含有多个一致性句子的故事就产生了。为了充分提取和利用相册中有效的语义信息,重构器被引入到该模型中,来重构那些基于解码器的隐藏状态而被动态总结了的相册表示。本文提出的模型以一种端到端的形式进行训练,在公开的visual storytelling数据集(VIST)上得到了更好的性能。对比研究实验进一步论证了本文所提出的层级相片-场景编码器和解码器的有效性。

24. 结构化常识在故事补全中的应用

Incorporating Structured Commonsense Knowledge in Story Completion

这项研究由加州大学戴维斯分校与腾讯AI Lab合作完成。为一个给定的故事选择恰当的结尾,被认为是通往叙述型文本理解的第一步。故事结尾预测不仅需要显式的线索,还得需要一些隐式的知识(如常识)。之前绝大多数方法都没有明显地使用各种背景常识。该论文提出一个基于神经网络的故事结尾预测模型,这个模型整合了三种不同类型的信息来源:叙述线索、情感演变以及常识知识。实验结果表明本文的模型在一个公共数据机ROCStory Cloze Taks上取得了最好的性能。同时,实验结果表明引入常识知识带来了显著的性能增益。

25. 一种针对多模态数据的高效特征提取方法 

An Efficient Approach to Informative Feature Extraction from Multimodal Data

这项研究由腾讯AI Lab主导,与清华大学、清华-伯克利深圳学院、麻省理工学院(MIT)合作完成。多模态特征提取的一个研究重点在于如何找到每个模态中相关度最大的特征表达。作为一种常用的相关度度量方式,HGR最大相关度因较好的理论性质,经常被作为优化的目标函数。然而,HGR最大相关度中对于白化的严格约束,部分限制了其应用。为解决这一问题,本文提出了Soft-HGR的新框架,以解决从多个数据模态中提取有效特征的问题。具体来说,本方法在优化HGR最大相关度的过程中,避免了严格白化约束,同时也能保持特征的集合特性。Soft-HGR的优化目标仅包含两个内积项,可以保证优化过程的求解效率和稳定性。研究者进一步将该方法泛化,用于解决超过两个数据模态以及部分模态缺失的问题。对于数据中仅有部分标注信息的情况,研究者可以通过半监督适应的方法,使得所提取的特征更具有判别力。实验结果表明,本文的方法可以学习到更有信息量的特征映射,同时优化过程也更为高效。

26. Plan-And-Write: 更好的自动故事写作

Plan-And-Write: Towards Better Automatic Storytelling

这项研究由北京大学、南加州大学与腾讯AI Lab合作完成。自动故事生成的目标是用更长、更流畅的语句来描述一个有意义的事件序列,这是一个极具挑战的任务。尽管已有许多工作在研究自动故事生成,但是先前的研究要么局限于plot planning,要么只能生成特定领域的故事。该论文探索了开放领域的基于给定故事题目的故事生成任务。研究者提出了plan-and-write的层级生成框架,先生成故事线,再基于此生成整个故事。研究者对比了两种planning的策略:动态模式是将故事线的planning和故事的文本生成交替进行,而静态模式是先确定好故事线再生成故事。实验结果表明,在显式的故事线planning作用下,系统能生成更多样、更连贯、更切题的故事,在自动指标和人工评测结果中,都优于没有planning的对比方法。

27. 翻译记忆图的神经机器翻译

Graph based translation memory for neural machine translation

该论文由腾讯AI Lab主导,与卡内基梅隆大学合作完成,可有效地利用翻译记忆构建翻译模型。翻译记忆对提高统计机器翻译很有帮助,随着统计机器翻译向神经机器翻译的进化,将翻译记忆融入到神经翻译框架已经引起了很多关注。现有的工作中,有的为了保证效率,仅利用了翻译记忆中的局部信息;也有工作利用了翻译记忆中的全局信息,但是降低了效率。该论文提出了一个有效的方法,它可以充分利用翻译记忆的全局信息。它的基本思想是,将包括冗余词的序列化翻译记忆压缩成一个结构紧凑的图,然后计算一个基于图的注意力模型。在6个翻译任务上的实验表明,本文提出的方法是有效的:它获得了比基线系统Transformer更好的效果,而且也比现有的基于翻译记忆的模型更好。

腾讯AI实验室
腾讯AI实验室

理论AAAI 2019自然语言处理论文腾讯AI Lab
4
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

最大熵模型技术

最大熵原理是概率模型学习的一个准则:学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。 应用最大熵原理得到的模型就是最大熵模型。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

结构学习技术

结构化预测是监督学习,分类和回归的标准范式的一种推广。 所有这些可以被认为是找到一个能最大限度减少训练集损失的函数。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用,正态分布在统计学上非常重要。中心极限定理表明,由一组独立同分布,并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成,因而往往也具有正态分布。

GloVe技术

Stanford开发的用于词向量表示的一个库/工具

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

常识知识库技术

常识知识库是当代智能系统或智能代理所具备的一种知识库。它是解决人工智能或知识工程技术瓶颈难题的一项关键措施,其特点是数量上规模大。早期人工智能或知识工程系统所具备的领域知识库是另一种知识库。也就是说,领域知识库和常识知识库是智能计算机系统所具备的知识库的两种基本类型。计算机科学领域普遍认为领域知识库和常识知识库是人工智能或知识工程技术瓶颈难题。从早期关注专家的领域知识到现在同时关注常识知识,这是人工智能或知识工程技术的一种进步。由于计算机硬件和软件以及数据库乃至数据仓库及其人机交互界面等技术的不断成熟,使得人们在21世纪开发各种专家系统所需要的各个中等规模的领域知识库和开发常识系统所需要的大规模的常识知识库都具备了基础条件。

自注意力技术

自注意力(Self-attention),有时也称为内部注意力,它是一种涉及单序列不同位置的注意力机制,并能计算序列的表征。自注意力在多种任务中都有非常成功的应用,例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系,这种内部关系对于翻译以及序列任务的性能非常重要。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

最大似然估计技术

极大似然估计是统计学中用来估计概率模型参数的一种方法

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

知识库技术

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

协方差矩阵技术

在统计学与概率论中,协方差矩阵(也称离差矩阵、方差-协方差矩阵)是一个矩阵,其 i, j 位置的元素是第 i 个与第 j 个随机向量(即随机变量构成的向量)之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

先验知识技术

先验(apriori ;也译作 先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验,比如,数学式子2+2=4;恒真命题“所有的单身汉一定没有结婚”;以及来自纯粹理性的推断“本体论证明”

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中,我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。 数据通常包含噪音,错误,例外或不确定性,或者不完整。 错误和噪音可能会混淆数据挖掘过程,从而导致错误模式的衍生。去除噪音是数据挖掘(data mining)或知识发现(Knowledge Discovery in Database,KDD)的一个重要步骤。

统计机器翻译技术

随着统计学的发展,研究者开始将统计模型应用于机器翻译,这种方法是基于对双语文本语料库的分析来生成翻译结果。这种方法被称为统计机器翻译(SMT)

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

对抗训练技术

对抗训练涉及两个模型的联合训练:一个模型是生成器,学习生成假样本,目标是骗过另一个模型;这另一个模型是判别器,通过对比真实数据学习判别生成器生成样本的真伪,目标是不要被骗。一般而言,两者的目标函数是相反的。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

长距离依赖技术

也作“长距离调序”问题,在机器翻译中,比如中英文翻译,其语言结构差异比较大,词语顺序存在全局变化,不容易被捕捉

对话系统技术

对话系统大致被分成两类: 任务为导向的对话系统,帮助用户去完成特定任务,比如找商品,订住宿,订餐厅等。实现任务为导向的对话系统,主要有两类方式,流水线方法和端到端方法。非任务导向的对话系统,与用户进行互动并提供回答,简单的说,就是在开放领域的闲聊。实现非任务导向对话系统也主要可分为两类,生成方法和基于检索的方法。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

序列到序列技术

在线学习技术

在计算机科学中,在线学习是一种机器学习方法。和立即对整个训练数据集进行学习的批处理学习技术相反,在线学习的数据按顺序可用,并在每个步骤使用未来数据更新最佳预测器。

主动学习技术

主动学习是半监督机器学习的一个特例,其中学习算法能够交互式地查询用户(或其他信息源)以在新的数据点处获得期望的输出。 在统计学文献中,有时也称为最佳实验设计。

多任务学习技术

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

问答系统技术

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看,其与目前主流资讯检索技术有两点不同:首先是查询方式为完整而口语化的问句,再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例,使用者不需要思考该使用什么样的问法才能够得到理想的答案,只需要用口语化的方式直接提问如“请问谁是美国总统?”即可。而系统在了解使用者问句后,会非常清楚地回答“奥巴马是美国总统”。面对这种系统,使用者不需要费心去一一检视搜索引擎回传的网页,对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看,问答系统使用了大量有别于传统资讯检索系统自然语言处理技术,如自然语言剖析(Natural Language Parsing)、问题分类(Question Classification)、专名辨识(Named Entity Recognition)等等。少数系统甚至会使用复杂的逻辑推理机制,来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上,除了传统资讯检索会使用到的资料外(如字典),问答系统还会使用本体论等语义资料,或者利用网页来增加资料的丰富性。

腾讯机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
暂无评论
暂无评论~