产业资讯方案大厅机构大厅

Tencent TranSmart

人机交互神经网络腾讯

产品描述

神经机器翻译系统通常由多层编码器和解码器构成,这允许系统对于复杂函数进行建模并捕获复杂的语言结构。最近研究工作表明,不同网络层会捕获不同层次的句法和语义信息。 然而,通常情况下,翻译过程仅利用了编码器和解码器的顶层,这错过了利用在其他层中的有用信息的机会。在这项工作中,研究人员提出用层聚合和多层注意力模型的方法同时利用不同网络包含的信息。

1. 多头自注意力层 (Multi-Head Self-attention) 2. 全连接的前向网络层 (Feed Forward)  3. 多头源注意力层 (Multi-Head Attention)

所用技术

研发机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。