信息论
信息论的研究范围分成三种不同类型:
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律,以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题,但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
熵
在信息论中,熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。
熵在信息论中的定义如下: 如果有一个系统S内存在多个事件S = {E1,…,En}, 每个事件的机率分布 P = {p1, …, pn},则每个事件本身的讯息为 Ie = − log2pi (对数以2为底,单位是位元(bit)) Ie = − lnpi (对数以e为底,单位是纳特/nats) 如英语有26个字母,假如每个字母在文章中出现次数平均的话,每个字母的讯息量为 I_e = -\log_2 {1\over 26} = 4.7 ;而汉字常用的有2500个,假如每个汉字在文章中出现次数平均的话,每个汉字的信息量为 I_e = -\log_2 {1\over 2500} = 11.3 整个系统的平均消息量为 H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i 这个平均消息量就是消息熵。因为和热力学中描述热力学熵的玻耳兹曼公式形式一样,所以也称为“熵”。 如果两个系统具有同样大的消息量,如一篇用不同文字写的同一文章,由于是所有元素消息量的加和,那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间,汉字印刷的文章也要比英文字母印刷的用纸少。 实际上每个字母和每个汉字在文章中出现的次数并不平均,因此实际数值并不如同上述,但上述计算是一个总体概念。使用书写单元越多的文字,每个单元所包含的讯息量越大。 I(A)度量事件A发生所提供的信息量,称之为事件A的自信息,P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值,若它们出现的概率分别为p1,p2,…,pN,则这些事件的自信息的和:[H=-SUM(pi*log(pi)),i=1,2…N]称为熵。
熵的公式 熵H(X)=-Σx∈Ωp(x)logxp(x) – 假设PX(x)是随机变量X的分布 – 基本输出字母表是Ω – 单位:bits • 熵是X的平均信息量,是自信息量的期望 E(X)=Σx∈Ω p(x) x I(X)=-logp(x),取2为底,I(X)=-log2p(x) E(I(X)=E(-log2p(x))= Σx∈Ω p(x)(-log2p(x)) = H(X) H(X)=H(p)=Hp(X)=HX(p)=H(pX)
熵的例子
• 掷均匀硬币,Ω={H,T}
p(H)=.5, p(T)=.5
H(p)=-0.5log20.5 (-0.5log20.5)=1
• 32面的均匀股子,掷股子
H(p)=-32((1/32)log2(1/32))=5
• 事实上,掷的次数21=2, 25=32(perplexity)
• 掷不均匀硬币
什么时候H(p)=0? – 试验结果事先已经知道 – 即:∃x∈Ω, p(x)=1; ∀y∈Ω, p(y)=0 if y≠x • 熵有没有上限? – 没有一般的上限 – 对于|Ω|=n,H(p)≤-log2n – 均衡分布的熵是最大的
困惑度(perplexity)即混乱度 G(p)=2的H(p)次方,在NLP中,如果词表中的词具有统一的分布概率,则最难预测,熵最大,混乱度最高 反之,分布越不均衡,熵越小,混乱度越小
条件熵
给定随机变量X的情况下,随机变量Y的条件熵定义为:
H(Y|X)=Σx∈Ωp(x)H(Y|X=x)
联合熵(joint entropy) 如果X, Y 是一对离散型随机变量X, Y ~ p(x, y),X, Y 的联合熵H(X, Y) 为: (X,Y)被视为一个事件 H(X,Y)=-Σx∈Ω Σ y∈Ψp(x,y)log2p(x,y) 联合熵实际上就是描述一对随机变量平均所需要的信息量 联合熵(joint entropy) 如果X, Y 是一对离散型随机变量X, Y ~ p(x, y),X, Y 的联合熵H(X, Y) 为: (X,Y)被视为一个事件 H(X,Y)=-Σx∈Ω Σ y∈Ψp(x,y)log2p(x,y) 联合熵实际上就是描述一对随机变量平均所需要的信息量
熵的性质 熵是非负的 H(X)≥0 Chain Rule H(X,Y)=H(Y|X) H(X) H(X,Y)=H(X|Y) H(Y) H(X,Y)≤H(X) H(Y),X和Y独立时相等 H(Y|X)≤H(Y),条件熵比熵小
互信息(Mutual Information) 如果( X, Y ) ~ p(x, y),X, Y 之间的互信息I(X; Y) 为:I (X; Y) = H(X) –H( X | Y ) 推导为:I(x,y)=log2p(x,y)/(p(x)p(y)) 互信息I (X; Y) 是在知道了Y 的值后X 的不确定性的减少量。即,Y 的值透露了多少关于X 的信息量。 • 比如计算两个词的搭配 I(伟大,祖国)=log2p(伟大,祖国)/(p(伟大)p(祖国)) • 此值较高,说明“伟大”和“祖国”是一个比较强的搭配 I(的,祖国)=log2p(的,祖国)/(p(的)p(祖国)) • 此值较低,因为p(的)太高,“的”和“祖国”不是一个稳定的搭配 互信息性质 I(x,y)>>0:x和y关联强度大 I(x,y)=0:x和y无关 I(x,y)<<0:x和y具有互补的分布 由于H(X, X) = 0, 所以, H(X) = H(X) –H(X|X) = I(X; X) 这一方面说明了为什么熵又称自信息,另一方面说明了两个完全相互依赖的变量之间的互信息并不是一个常量,而是取决于它们的熵。