软决策树作为模糊决策树的一类，通过结合了树的生长和修剪来确定软决策树的结构，并对树进行了修正来提高它的泛化能力。软决策树的决策准则是一个范围区间，而非一个特定的数值。相比较于标准决策树，软决策树的分类结果更准确。此外，一项全球模型方差研究显示，软决策树的方差远低于标准树，这是提高准确度的直接原因。[描述来源：Olaru, Cristina, and Louis Wehenkel. "A complete fuzzy decision tree technique." Fuzzy sets and systems 138.2 (2003): 221-254.]
软决策树的示意图如下所示：
如上图所示软决策树包含4个测试节点和4个终端节点。每个节点也用其局部估计的输出来标记。在每个测试节点下包含关于一对两个参数（括号中的值），所选测试一次显示为单个属性的条件。这两个参数描述了模糊分割给定当前测试节点的本地对象集所需的称为鉴别器的函数。
[图片来源：Olaru, Cristina, and Louis Wehenkel. "A complete fuzzy decision tree technique." Fuzzy sets and systems 138.2 (2003): 221-254.]
发展历史
描述
模糊决策树的概念早在1977年就存在了。2003年，Olaru等人提出了一种特殊的模糊决策树：软决策树。这个决策树具有优越的性能，因此受到业界的关注。2016年到2017年间，研究学者们开始将软决策树于神经网络相结合，充分展示了软决策树的优越效果。例如，2017年Hinton提出了将深度神经网络对应到软决策树上，对神经网进行了一个形象的且合理的解释。
主要事件
年份 | 事件 | 相关论文/Reference |
2003 | 提出了软决策树 | Olaru, Cristina, and Louis Wehenkel. "A complete fuzzy decision tree technique." Fuzzy sets and systems 138.2 (2003): 221-254. |
2012 | 将软决策树与硬决策树进行了对比，并证明了软决策树的优势 | Irsoy, O., Yıldız, O. T., & Alpaydın, E. (2012, November). Soft decision trees. In Pattern Recognition (ICPR), 2012 21st International Conference on (pp. 1819-1822). IEEE. |
2016 | 将软决策树与神经网络结合 | Kontschieder P, Fiterau M, Criminisi A, et al. Deep Neural Decision Forests[C]// IEEE International Conference on Computer Vision. IEEE, 2016:1467-1475. |
2017 | Hinton等提出了将深度神经网络对应到软决策树上，对神经网路给出了一个合理且形象的解释 | Frosst N, Hinton G. Distilling a Neural Network Into a Soft Decision Tree[J]. 2017. |
发展分析
瓶颈
软决策树的一个缺点在于梯度下降问题，在寻优过程中，很容易陷入局部最小值。[描述来源：Irsoy, O., Yıldız, O. T., & Alpaydın, E. (2012, November). Soft decision trees. In Pattern Recognition (ICPR), 2012 21st International Conference on (pp. 1819-1822). IEEE.]
未来发展方向
软决策树与神经网络的结合为神经网络模型的发展提供了新的思路，包括网络的合理解释，网络的简化和训练等。
Contributor: Yilin Pan