一种经典的方法上在常规卷积网络上添加中间预测层，如图 a 所示，当中间预测结果的置信度大于阈值，则提前退出。但早期的分类器没有利用深层的语义特征 (低分辨率的高维特征)，可能会导致明显的准确率下降。为了解决上述问题，MSDNet 设计了二维(Layer-Scale) 多阶段架构来获取各层的粗粒度特征和细粒度特征，如图 b 所示，每个预测层都能利用深层的语义特征，可达到较好的准确率。然而，MSDNet 是精心设计的专用网络结构，若需要转换其它目标网络，则需要重新设计类似的范式。为了解决上述问题且不需要重新设计网络结构，论文提议将目标网络转换成 channel-wise 多阶段网络，如图 c 所示。该方法保持目标网络的结构，在 channel 层面将目标网络分成多个阶段，仅在最后的卷积层添加预测器。为了降低计算量，每个阶段的 channel 数都相对减少。基于图 c 的思想，论文提出通用结构 S2DNAS，能够自动地将目标网络转换成图 c 架构的动态网络。