小米实验室 AutoML 团队的研究者（作者：初祥祥、张勃等）提出了他们的最新研究成果 NoisyDARTS，通过向 skip-connection 注入噪声的方法，来抵消由于不公平竞争而导致的富集和性能损失问题，并且在 CIFAR-10 和 ImageNet 上分别取得了 97.61% 和 77.9% 的 SOTA 结果。其实早在其之前的工作 FairDARTS 中，就通过使用 sigmoid 函数而不是 softmax 函数来解决富集和性能损失问题。他们认为，softmax 使不同操作之间的关系变为竞争关系，由于 skip connection 和其他算子的加和操作形成残差结构，这就导致了 skip connection 比其他算子有很大的优势，这种优势在竞争环境下表现为不公平优势并持续放大，而其他有潜力的操作受到排挤，因此任意两个节点之间通常最终会以 skip connection 占据主导，导致最终搜索出的网络性能严重不足。