信息论

信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义的信息论,又因为它的创始人是香农,故又称为香农信息论。

简介

信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义的信息论,又因为它的创始人是香农,故又称为香农信息论。

广义信息论则包含通信的全部统计问题的研究,除了香农信息论之外,还包括信号设计、噪声理论、信号的检测与估值等。当信息在传输、存储和处理的过程中,不可避免地要受到噪声或其它无用信号的干扰,信息理论就是为能可靠地有效地从数据中提取信息,提供必要的数据和方法。

来源:

曹雪虹等 信息论与编码(第2版) 清华大学出版社

例子:

电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的;在一些商品上面有一张由粗细条纹组成的标签,从这张标签可以得知该商品的生产厂家、生产日期和价格等信息,这些标签是利用条形码设计出来的,非常方便,也是信息论的理论基础。

发展历史

信息在早些时期的定义是由奈奎斯特(Nyquist,H.)和哈特莱(Hartley,L.V.R.)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系;1928年哈莱特最早研究了通信系统传输信息的能力,给出了信息度量;1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响,他在1941~1944年对通信和密码进行深入研究,用概率论的方法研究通信系统,揭示了通信系统传递的对象就是信息,并对信息给以科学的定量描述,给出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。这一成果于1948年以《通信的数学理论》(A mathematical theory of communication)为题公开发表。香农因此成为信息论的奠基人。

50年代信息论在学术界引起了巨大的反响。1951年美国IRE成立了信息论组,并于1955年正式出版了信息论汇刊。60年代信道编码技术有较大进展,使它成为信息论的又一重要分支。70年代,有关信息论的研究,从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗(Cover)发表了有关广播信道的研究,以后陆续有关于多接入信道和广播信道模型的研究,但由于这些问题比较难,到目前为止,多用户信息论研究得不多,还有许多尚待解决的课题。

主要事件


年份事件相关论文
1948年香农对信息给以科学的定量描述,给出了信息熵的概念。Shannon, C.E. (1948)"A Mathematical Theory of Communication."The Bell System Technical J.27, 379-423 and 623-656
1949年Kraft-McMillan不等式中卡夫为给定码字长度集合提供了前缀码的必要和充分的条件Kraft, Leon G. (1949), A device for quantizing, grouping, and coding amplitude modulated pulses, Cambridge, MA: MS Thesis, Electrical Engineering Department, Massachusetts Institute of Technology
1956年麦克米伦发现了Kraft-McMillan不等式,证明了唯一可译码代码的普遍性McMillan, Brockway (1956), "Two inequalities implied by unique decipherability", IEEE Trans. Information Theory, 2 (4): 115–116, doi:10.1109/TIT.1956.1056818
1967年Elwyn Berlekamp发明了解码算法:Bose-Chaudhuri-Hocquenghem(BCH)Berlekamp, Elwyn R. (1967), Nonbinary BCH decoding, International Symposium on Information Theory, San Remo, Italy
2002年Stolte首次提出极化码的编码方案Stolte, N. (2002). "Chapter 6.1: Optimierte Konstruktion für bitwise Mehrstufendecodierung". Rekursive codes mit der Plotkin-Konstruktion und ihre Decodierung (Ph.D. dissertation, Technische Universität Darmstadt).

发展分析

瓶颈

信息论在对离散信源的平均信息量等问题解释的还是比较的全面和真实,但是对连续信源来说,有它不足的地方。在现代信息论发展的过程中曾有过许多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描述连续信源。但是,直到现在为止,所提出来的诸多方案中,没有一个是优于香农的。

未来发展方向


近十年来的进展,已远远突破了香农信息论的范围,正如意大利学者朗高1975年发表的《信息论、新方向和未解决的问题》一文中指出的那样,“曾被香农在他的贡献中所审慎排除的东西,现在又被包含了进来”,目前人们已将信息论广泛应用于物理,化学,生物学,心理学,管理学等学科,一门研究信息的科学正在形成。

Contributor: Peng Jiang

相关人物
克劳德·香农
克劳德·香农
简介
相关人物