微调大型预训练模型是NLP中一种有效的迁移机制。然而，在存在许多下游任务的情况下，微调在参数利用方面是低效的：每个任务都需要一个全新的模型。在本文中，来自谷歌等机构的研究者提出用适配器模块进行迁移。为了证明适配器的有效性，他们将最近提出的BERT Transformer模型转移到26个不同的文本分类任务中。适配器几乎达到了当前最佳性能，同时每个任务只添加少量参数。