MT-DNN

MT-DNN 是微软提出的在多种自然语言理解任务上学习表征的多任务深度神经网络。与 BERT 模型类似，MT-DNN 分两个阶段进行训练：预训练和微调。与 BERT 不同的是，MT-DNN 在微调阶段使用多任务学习，在其模型架构中具有多个任务特定层。