微软推出提点神器动态ReLU,可能是最好的ReLU改进
ReLU 是深度学习中很重要的里程碑,简单但强大,能够极大地提升神经网络的性能。目前也有很多 ReLU 的改进版,比如 Leaky ReLU 和 PReLU,而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到,如果能够根据输入特征来调整 ReLU 的参数可能会更好。基于上面的想法,论文提出了动态 ReLU(DY-ReLU)。论文提供了三种形态的 DY-ReLU,在空间位置和维度上有不同的共享机制。不同形态的 DY-ReLU 适用于不同的任务,论文也通过实验验证,DY-ReLU 在关键点识别和图像分类上均有不错的提升。