反向传播是常用的学习算法，但它存在一些缺陷，如过于敏感、依赖大量条件和约束。来自加州大学圣地亚哥分校的研究科学家 Mehrdad Yazdani 发表论文《Linear Backprop in non-linear networks》，对误差项的线性反向传播进行研究。该方法在前向传播中使用非线性激活函数，但是在反向传播中使用线性激活函数，因此它可以确保梯度流的正常传递，同时节约计算成本。