信息论

类别:__编号:__

信息是指对消息接受者来说预先不知道的报道。信息论是利用数学方法研究信息的传送、变换和储存，特别是信息量计算的一门科学。它是在四十年代后期从长期通信实践中总结出来的。

在信息论发展起来以前，人们对信息系统的理解是比较肤浅的。一般常把携带信息的消息信号看成是确定性的周期信号或瞬态信号。但是，越来越多的通信实践证明，在大多数情况下，系统里的消息和噪声既不是周期性也不是瞬态性，而是一种具有概率性的随机函数或随机过程。许多科学工作者，开始把近代统计力学中的重要概念，把概率论随机过程理论以及广义谐波分析的数学方法应用到信息系统的研究中，把通信工程提高到统计科学的高度。

信息论的研究对象是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳，一直到各类生物神经的感知系统，都可以用同一的信息论观点加以阐述，都可以概括成这样或那样的随机过程或统计学的数学模型加以研究。