什么是信息熵


本文部分参考百度百科

定义

熵的概念首先在热力学中引入,用于表述热力学第二定律。波尔兹曼研究得到,热力学熵与微观状态数目的对数之间存在联系,并给出了公式:

image

信息熵的定义与上述这个热力学的熵,虽然不是一个东西,但是有一定的联系。熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量 X 的熵 H(X) 定义为:

image

通常,一个信源发送出什么符号是不确定的,衡量它可以根据其出现的概率来度量。概率大,出现机会多,不确定性小;反之就大。

不确定性函数f是概率P的单调递降函数

两个独立符号所产生的不确定性应等于各自不确定性之和,即f(P1,P2)=f(P1)+f(P2),这称为可加性。同时满足这两个条件的函数f是对数函数,即 image

在信源中,考虑的不是某一单个符号发生的不确定性,而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值:U1…Ui…Un,对应概率为:P1…Pi…Pn,且各种符号的出现彼此独立。这时,信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值(E),可称为信息熵,即image,式中对数一般取2为底,单位为比特。

但是,也可以取其它对数底,采用其它相应的单位,它们间可用换底公式换算。

最简单的单符号信源仅取0和1两个元素,即二元信源,其概率为P和Q=1-P,该信源的熵即为如图所示。

image

由图可见,离散信源的信息熵具有:

①非负性,即收到一个信源符号所获得的信息量应为正值,H(U)≥0;
②对称性,即对称于P=0.5
③确定性,H(1,0)=0,即P=0或P=1已是确定状态,所得信息量为零;
④极值性,当P=0.5时,H(U)最大;而且H(U)是P的上凸函数。

对连续信源,仙农给出了形式上类似于离散信源的连续熵,虽然连续熵HC(U)仍具有可加性,但不具有信息的非负性,已不同于离散信源。

HC(U)不代表连续信源的信息量。

连续信源取值无限,信息量是无限大,而HC(U)是一个有限的相对值,又称相对熵。但是,在取两熵的差值为互信息时,它仍具有非负性。这与力学中势能的定义相仿。

转载须注明出处 : http://www.vmfor.com。