在论文《Self-training with Noisy Student improves ImageNet classification》中，研究者首先在标注的 ImageNet 图像上训练了一个 EfficientNet 模型，然后用这个模型作为老师在 3 亿无标签图像上生成伪标签。然后研究者训练了一个更大的 EfficientNet 作为学生模型，使用的数据则是正确标注图像和伪标注图像的混合数据。这一过程不断迭代，每个新的学生模型作为下一轮的老师模型，在生成伪标签的过程中，教师模型不会被噪声干扰，所以生成的伪标注会尽可能逼真。但是在学生模型训练的过程中，研究者对数据加入了噪声，使用了诸如数据增强、dropout、随机深度等方法，使得学生模型在从伪标签训练的过程中更加艰难。这一自训练模型，能够在 ImageNet 上达到 87.4% 的 top-1 精确度，这一结果比当前的 SOTA 模型表现提高了一个点。除此之外，该模型在 ImageNet 鲁棒性测试集上有更好的效果，它相比之前的 SOTA 模型能应对更多特殊情况。论文链接：https://arxiv.org/abs/1911.04252。