首先简要介绍了语言表示学习及相关研究进展；
其次从四个方面对现有 PTM 进行系统分类（Contextual、Architectures、Task Types、Extensions）；
再次描述了如何将 PTM 的知识应用于下游任务；
最后展望了未来 PTM 的一些潜在发展方向。
图解当前最强语言模型BERT：NLP是如何攻克迁移学习的？
Auto Byte
专注未来出行及智能汽车科技
微信扫一扫获取更多资讯
Science AI
关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展
微信扫一扫获取更多资讯
首先简要介绍了语言表示学习及相关研究进展；
其次从四个方面对现有 PTM 进行系统分类（Contextual、Architectures、Task Types、Extensions）；
再次描述了如何将 PTM 的知识应用于下游任务；
最后展望了未来 PTM 的一些潜在发展方向。
复旦大学（Fudan University），简称“复旦”，位于中国上海，由中华人民共和国教育部直属，中央直管副部级建制，国家双一流（A类）、985工程、211工程建设高校，入选珠峰计划、111计划、2011计划、卓越医生教育培养计划、卓越法律人才教育培养计划、国家建设高水平大学公派研究生项目，九校联盟（C9）、中国大学校长联谊会、东亚研究型大学协会、环太平洋大学协会的重要成员，是一所世界知名、国内顶尖的全国重点大学。
Transformer-XL 预训练模型是对 Transformer 及语言建模的修正，这项前沿研究是2019年1月份公布。一般而言，Transformer-XL 学习到的长期依赖性比标准 Transformer 学到的长 450%，无论在长序列还是短序列中都得到了更好的结果，而且在评估时比标准 Transformer 快 1800 多倍。
神经结构搜索（NAS）表示自动设计人工神经网络（ANN）的过程。
