Facebook 人工智能研究小组利用半监督以及自我监督的学习技术在 NLP 中取得了令人印象深刻的突破，该技术利用未标记的数据来提高超出纯监督系统的性能。该研究团队在第四届机器翻译大会（WMT19）比赛中使用了一种新型的半监督训练在几种语言环境下均获得了第一名。该团队同时也引入了一种新的自我监督预训练方法 RoBERTa，该方法在在几种语言理解任务上超越了所有现有的 NLU 系统。在某些情况下，这些系统甚至优于人类基线，如英语 - 德语翻译和五个 NLU 基准测试。除此之外，为了推动最新技术的发展，该团队还联合纽约大学，DeepMind 以及华盛顿大学，合作开发了一个由该机构想要推动的任务组成的全新的基准测试，排行榜以及 PyTorch 工具包。