近日，一位来自美国社交论坛 Reddit 的网友分享了其在 Tensorflow 2.0 中创建的一个可扩展的 Transformer Model 包，可用于重建 GPT-2，BERT 以及 XLNet。该项目的目标是创建「Attention Is All You Need」论文中讨论的变压器模型的所有核心部分，以便重用它们来创建更新，更多的 SOTA 模型，如 BERT 和 XLNet等等。该网友还表示，他已经留下了如何使用这个软件包来训练 Transformer 模型的说明，并将在晚些时候将其打包到 pypi 上。