PyTorch-Transformers（曾用名：pytorch-pretrained-bert）是一个用于自然语言处理（NLP）的最先进的预训练模型库。目前，PyTorch-Transformers 1.1.0 已上线，该库目前涵盖了 PyTorch 的实现，预先训练的模型权重，使用脚本以及一下模型的转换实用程序：BERT, GPT, GPT-2, Transformer-XL, XLNet, XLM 以及 RoBERTa。