推理网络是一种执行复杂推理任务的方法， 它通常基于从各种来源中获得的大量的以及不同形式的证据。推理网络被广泛的应用在法律，医学，以及情报分析，人工智能等众多领域。这些任务的复杂性通常可以通过现在被称为推理网络的图形结构来获取和表示。这些网络是有向无环图（DAG），它由节点组成，代表了相关的假设，证据条目以及未被观察到的变量。还有链接一些节点的弧及箭头，用来表示节点之间相互依存的关系。
推理网络最早是由美国法学家 Jhon.H.Wigmore 于1913年提出的，他的威格摩尔图表主要应用于辅助分析犯罪证据及事实，威格摩尔也是第一位对推理网络尝试进行系统研究的人。在人工智能及神经科学领域中，基于 DAG 的概率模型被称为贝叶斯推理网络，最早由基因学家 Swell Wright 于1921年提出。贝叶斯网络是处理复杂条件下的不确定性的常用方法。在贝叶斯推理网络中，有向无环图被明确的构造为概率分析的工具，其相关的计算可以看作是对贝叶斯规则的一般化。
【描述来源：（1）Dawid, P., Schum, D., & Hepler, A. (2011). Inference Networks: Bayes and Wigmore.（2）Pearl, J., & Russell, S. (2000). Bayesian networks. UCLA Cognitive Systems Laboratory (pp. 157-160). Technical Report.】
例：有向无环图：
图片来源：https://medium.com/@Suirelav/introduction-to-byteball-part-2-the-dag-ce84ca4c4e01
A. 威格摩尔图表：
威格摩尔图表法（Wigmore chart) 是法学家威格摩尔发明的树状图，用以协助分析犯罪证据及事实。该图表主要由线条和形状两个部分组成。线条表示了威格摩尔认为的司法证据范围内的证明程序。这些线条所连接的形状代表威格摩尔所认为的事实。这些事实必须是声称的或是被提出想要被采信的事实。每个形状都有编号，编号与“关键列表”中收集的语句一一对应。
描述来源：Goodwin, J. (2000). Wigmore's chart method. Informal Logic, 20(3).
例：运用威格摩尔图表针对一个案件的分析过程。
图片来源：
B. 贝叶斯推理网络：
贝叶斯推理网络（Bayesian network) 也被称为信念网络（belief network) 或是有向无环图模型（direct acyclic model)，实质上是一种基于概率不确定性的分析网络。概率的不确定性长期以来就是人工智能研究的一个重点领域，为了提高对于不确定性分析的准确性，科学家最初在人工智能领域中引入了概率分析模型。后来，随着贝叶斯理论逐渐成为处理不确定性信息的主流技术，它被广泛应用于计算机科学，工业控制，医疗诊断等领域的智能系统中。
例：图中是一个简单的贝叶斯模型，它表示了下雨，洒水器以及草是否湿润之间的关系。下雨会影响到洒水器是否洒水，洒水器和下雨共同影响草是否会湿润。
贝叶斯网络的数学定义：
使G= (I,E) 表示一个DAG，其中I表示图中所有节点的集合，E代表有向连接线段的集合，且令X= (Xi)i∈I为其DAG中的某一节点i所代表的随机变量，如果节点X的联合概率分布表示成：
p(X)=\prod_{i\epsilon I}
p(X_{i}\mid X_{pa(i)})
那么称 X 为相对于 G 的贝叶斯网络，其中表示节点 i 的“因”。
对任意的随机变量，其联合分布是各自的局部条件概率分布的乘积。
p(X_{1}=x_{1}...,X_{n}=x_{n})=\prod_{i=1}^{n}
p(X_{i}=x_{i}\mid X_{i+1},...,X_{n}=x_{n})
根据上式，我们可以将一贝叶斯网络的联合概率分布写成：
p(X_{1}=x_{1}...,X_{n}=x_{n})=\prod_{i=1}^{n}
p(X_{i}=x_{i}\mid X_{j}=x_{j})
【描述及举例来源：维基百科：https://en.wikipedia.org/wiki/Bayesian_network， 百度百科：https://baike.baidu.com/item/贝叶斯网络/4102921?fr=aladdin】
【举例图片来源：
发展历史
描述
1913年，美国法学家Jhon.H.Wigmore 首次提出威格摩尔图表，他也是第一个尝试对推理网络进行系统性研究的人。威格摩尔图表是当代“信念网络”的早期形式。
1921年，基因学家Swell Wright 首次提出基于DAG的概率模型。
1982年，Judea Pear 首次提出贝叶斯网络模型, 它提供了一种概率分布的简洁表示。
20世纪80年代末，Pearl的智能系统中的概率推理以及Neapolitan的专家系统中的概率推理的特征被总结出来，并使得贝叶斯网络模型成为了一个独立的研究领域。
1991年，Cooper 和 Herskovits 提出了 K2 算法，这一算法将先验信息与贝叶斯网络学习结构结合，是贝叶斯网络发展过程中具有重要实际意义的算法。在这种算法中，先验经验为给定节点顺序，然后通过贝叶斯概率来评价模型与数据的吻合程度，并不断在网络内部增加用以提高评价指针的边的贪婪搜索方法来寻找最佳网络结构。运用这一思路的方法被统称为基于评价和搜索的结构学习方法。
1995年 Heckerman 等人提出了将先验知识和统计数据相结合的统一框架的结构学习算法。同年，Singh 和 Valtorta 提出了混合算法，该算法首先通过对于 PC 算法进行改进来获得节点的顺序，再运用K2算法学习网络结构。
2002年，Jie Cheng 提出了基于互信息的独立性检验构建算法，并表现出很好的效果。
2007年，Scheiterer 等人提出了基于贝叶斯网络的诊断模型，该模型可以利用专家提供的双向条件概率建立诊断模型。
2012年，Kafei 等人将贝叶斯网络应用于辨别车辆类型的分类器。
初期的贝叶斯网络理论研究主要是将专家的先验经验与观测数据相结合构建贝叶斯网络，而后期研究人员主要尝试通过较少甚至没有先验经验的情况下直接通过观测数据来获得恰当的贝叶斯网络模型。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 1913年 | 美国法学家Jhon.H.Wigmore 首次提出威格摩尔图表，并被认为是首位尝试系统性研究推理网络的人。 | Wigmore, J. H. (1913). "The problem of proof". Illinois Law Review. 8 (2): 77–103. |
| 1921年 | 基因学家Wright 首先提出基于DAG的概率模型 | Wright, S. (1921). Correlation and causation. Journal of agricultural research, 20(7), 557-585. |
| 1982年 | Judea Pear 首次提出贝叶斯网络模型。 | Pearl, J. (1982) Reverend Bayes on Inference Engines: A Distributed Hierarchical Approach AAAI - 82 Proceedings pp. 133 - 136 |
| 20世纪80年代末 | 贝叶斯网络成为一个独立的研究领域。 | Pearl, J. (1988). Probabilistic Reasoning in Intelligent Systems. San Francisco CA: Morgan Kaufmann. p. 1988. |
| 1991年 | Cooper 和 Herskovits 提出K2算法。 | Herskovits, E. (1991). Computer-based probabilistic-network construction (Doctoral dissertation, Stanford University). |
| 1995年 | Heckerman 等人提出将先验知识和统计数据相结合的结构学习法。 | Heckerman, D., Geiger, D., & Chickering, D. M. (1995). Learning Bayesian networks: The combination of knowledge and statistical data. Machine learning, 20(3), 197-243. |
| 1995年 | Singh 和 Valtorta 提出混合算法。 | Singh, M., & Valtorta, M. (1995). Construction of Bayesian network structures from data: a brief survey and an efficient algorithm. International journal of approximate reasoning, 12(2), 111-131. |
| 2002年 | Jie Cheng 提出基于互信息的独立性结构检验算法。 | Cheng, J., Greiner, R., Kelly, J., Bell, D., & Liu, W. (2002). Learning Bayesian networks from data: an information-theory based approach. Artificial intelligence, 137(1-2), 43-90. |
| 2007年 | Scheiterer 等人提出了基于贝叶斯网络的诊断模型 | Scheiterer, R. L., Obradovic, D., & Tresp, V. (2007). Tailored-to-fit Bayesian network modeling of expert diagnostic knowledge. The Journal of VLSI Signal Processing Systems for Signal, Image, and Video Technology, 49(2), 301-316. |
| 2012年 | Kafei 等人将贝叶斯网络应用于辨别车辆类型的分类器。 | Kafai, M., & Bhanu, B. (2012). Dynamic Bayesian networks for vehicle classification in video. IEEE Transactions on Industrial Informatics, 8(1), 100-109. |
发展分析
瓶颈
贝叶斯推理网络在当前发展中仍存在以下问题：
1）等价类问题：利用观测数据仅能测定贝叶斯网络的马尔可夫等价类，而同一马尔可夫等价类的内部网络结构无法通过可观测数据进行区分，这直接导致了网络结构内有些边的方向无法确定，在有专家帮助的情况下还可借助专家对于领域内的知识来帮助确定边的方向，但在没有专家提供先验经验的情况下，这种缺陷就成为了观测数据学习网络结构的根本缺陷。
2）前提假设过强问题：贝叶斯网络的很多假设前提结构在现实生活中往往不成立，因此研究人员一般通过放松贝叶斯网络学习的假设前提，尝试在一般条件下使用贝叶斯网络进行学习。
3）运用贝叶斯网络进行因果关系研究仍处于初期状态：由于人们运用贝叶斯网络得出的事物之间存在的关系仅限于统计学上的关联，而对事物之间存在的因果关系缺乏本质上的认识，因此在现实生活中人们期望能将贝叶斯网络进一步运用于解决事物之间存在的实质性因果联系，然而这些研究目前只有少部分的实际应用。
未来发展方向
贝叶斯推理网络未来的发展方向主要集中于对事物之间因果关系的数据挖掘。成功的因果关系数据挖掘应当是以贝叶斯网络为核心，根据数据挖掘的要求对算法进行更改，结合前处理，并将后处理与可控实验结合，并且同数据挖掘人员进行合理的人机交互，从而实现发现因果关系的目的。
分析来源：贺炜，潘泉，张洪才（2004）贝叶斯网络结构学习的发展与展望 information and control, vol33, No2
Contributor:Huixin Zhong