信息熵是什么？ - 知乎

数据挖掘

信息论

统计力学

信息熵

信息熵名字起的太抽象了，介绍的文章都不易懂

关注者 2,366

被浏览 492,455

他们也关注了该问题 返朴 Ivony YJango maxdeath 如月更纱

D.Han 科技盐究员

杨和、Natumsol 等 1,624 人赞同了该回答

阅读大概需要十五分钟。

相信通过这个回答的介绍，能够使一个对信息熵毫无了解的人，基本上明白信息熵是什么，以及有什么用。

熵的概念首先在热力学中引入，用于表述热力学第二定律。波尔兹曼研究得到，热力学熵与微观状态数目的对数之间存在联系，并给出了公式：

这个公式也作为他最骄傲的成绩，刻在了他的墓碑上。

信息熵的定义与上述这个热力学的熵，虽然不是一个东西，但是有一定的联系。熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量 的熵 定义为：

这个定义的特点是，有明确定义的科学名词且与内容无关，而且不随信息的具体表达式的变化而变化。是独立于形式，反映了信息表达式中统计方面的性质。是统计学上的抽象概念。

所以这个定义如题主提到的可能有点抽象和晦涩，不易理解。那么下面让我们从直觉出发，以生活中的一些例子来阐述信息熵是什么，以及有什么用处。

直觉上，信息量等于传输该信息所用的代价，这个也是通信中考虑最多的问题。比如说：赌马比赛里，有4匹马 ，获胜概率分别为 。

接下来，让我们将哪一匹马获胜视为一个随机变量 。假定我们需要用尽可能少的二元问题来确定随机变量 的取值。

例如：问题1：A获胜了吗？问题2：B获胜了吗？问题3：C获胜了吗？最后我们可以通过最多3个二元问题，来确定 的取值，即哪一匹马赢了比赛。

如果 ，那么需要问1次（问题1：是不是A？），概率为 ；

如果 ，那么需要问2次（问题1：是不是A？问题2：是不是B？），概率为 ；

如果 ，那么需要问3次（问题1，问题2，问题3），概率为 ;

如果 ，那么同样需要问3次（问题1，问题2，问题3），概率为 ；

那么很容易计算，在这种问法下，为确定 取值的二元问题数量为：

那么我们回到信息熵的定义，会发现通过之前的信息熵公式，神奇地得到了：

在二进制计算机中，一个比特为0或1，其实就代表了一个二元问题的回答。也就是说，在计算机中，我们给哪一匹马夺冠这个事件进行编码，所需要的平均码长为1.75个比特。

平均码长的定义为：
很显然，为了尽可能减少码长，我们要给发生概率 较大的事件，分配较短的码长 。这个问题深入讨论，可以得出霍夫曼编码的概念。

那么 四个事件，可以分别由 表示，那么很显然，我们要把最短的码 分配给发生概率最高的事件 ，以此类推。而且得到的平均码长为1.75比特。如果我们硬要反其道而行之，给事件 分配最长的码 ，那么平均码长就会变成2.625比特。

霍夫曼编码就是利用了这种大概率事件分配短码的思想，而且可以证明这种编码方式是最优的。我们可以证明上述现象：

  • 为了获得信息熵为 的随机变量 的一个样本，平均需要抛掷均匀硬币（或二元问题） 次（参考猜赛马问题的案例）
  • 信息熵是数据压缩的一个临界值（参考码长部分的案例）。

这可能是信息熵在实际工程中，信息熵最最重要且常见的一个用处。

最后，解释下信息熵公式的由来：

信息论之父克劳德·香农，总结出了信息熵的三条性质：

  • 单调性，即发生概率越高的事件，其所携带的信息熵越低。极端案例就是“太阳从东方升起”，因为为确定事件，所以不携带任何信息量。从信息论的角度，认为这句话没有消除任何不确定性。
  • 非负性，即信息熵不能为负。这个很好理解，因为负的信息，即你得知了某个信息后，却增加了不确定性是不合逻辑的。
  • 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。写成公式就是：

事件 同时发生，两个事件相互独立 ，

那么信息熵 。

香农从数学上，严格证明了满足上述三个条件的随机变量不确定性度量函数具有唯一形式：

其中的 为常数，我们将其归一化为 即得到了信息熵公式。

补充一下，如果两个事件不相互独立，那么满足 ，其中 是互信息（mutual information），代表一个随机变量包含另一个随机变量信息量的度量，这个概念在通信中用处很大。

比如一个点到点通信系统中，发送端信号为 ，通过信道后，接收端接收到的信号为 ，那么信息通过信道传递的信息量就是互信息 。根据这个概念，香农推出了一个十分伟大的公式，香农公式，给出了临界通信传输速率的值，即信道容量：

写这个颇费功夫，希望大家能在评论区反馈下，自己读完后有没有收获。

赞同 1624

190 条评论

  • 子微鱼2017-08-31

    和国情没有关系.....一个公式吓跑一半潜在读者是科普书放之四海皆准的真理,还没有被那些公式吓跑留在这的,都是死硬派^_^

  • tf zhang回复子微鱼2018-03-15

    还是不懂，只能硬了

  • 孙鼎昌2017-10-04

    关于赛马事件，“神奇的一致”的论证是错误的，会误导一知半解的读者。显而易见的，若有两匹马，一匹获胜概率为0.8，另一匹为0.2，则H(X)？ 答案是0.72，而不是1.2。

  • 黑香蕉回复孙鼎昌2019-02-26

    我也想说这个问题，神奇的一致只是个巧合，把数据换一换完全不一致，更不能说神奇

  • 青青2017-08-31

    虽然我没看懂，但你回复评论者的那句国情是多数人的文化素质有待提高真的触动到我，我觉得我就是这其中的一员。

  • 雄立东方2017-08-30

    感觉讲的太多，没有学过通原和信息论的人可能会懵逼的

  • 山川兄2017-08-31

    看了两秒钟就瞬间不想看

  • 莉莉安2020-01-01

    前边的差不多看懂了，概念解释的还是很清楚的，后边的互信息有点没看懂。

  • wakaka​2018-06-14

    x = {A,B,C,D} 用问几次问题加权的结果不总等于信息熵？ (1/4, 1/4, 1/4, 1/4} 加权 1/4 x 1 +1/4 x 2 +1/4 x 3 + 1/4 x 3 = 9/4, while (1/4 log 4 ) * 4=2

  • 狂猎2018-05-09

    如果四匹马夺冠概率相同那么算出来是 1/4*1+1/4*2+1/4*3+1/4*3=9/4 编码长度不是应该是2么

  • 金生水2018-04-11

    作者说的不清楚，建议多写一些

  • D.Han​ (作者) 回复金生水2018-04-11

    建议你去看教材

  • 明眸hz2018-02-07

    虽然不知道写的是啥，但是感觉很吊，赞一个

  • 永不言弃2018-01-14

    很有收获，谢谢！ 不过我想问问“那么 \{A,B,C,D\} 四个实践，可以分别由 \{0,10,110,111\} 表示”，如果用{0 1 10 11}来编码呢，这意味着平均码长可以小于1.75？

  • pg.宇航员回复永不言弃2020-09-09

    这个问题有答案了吗？我在自学信息论，也好奇这个问题。。。不知道为什么是编码要是0 10 110 1110这样。。。

  • 神探潘仁美2017-09-24

    受教，一直在想到底该怎么理解。

  • 学习第一其他免谈2017-09-20

    感谢大佬科普。老师让写一篇“我身边的信息熵”的论文，然而上这课有什么用都不知道😭，就是感觉是个很抽象的东西

  • mathematical2017-08-31

    7分钟，我一直怀疑自己阅读速度慢，在答主写的的时间内看完帮助我提升了自信，非常感谢，当然作为CS学生，数据结构，计算机网络和概率论与数理统计在相当大程度上帮助了我对这篇文章的理解。

  • 黑烟的圈​2017-08-31

    给答主点个赞。

  • 灰烬之灵2017-08-30

    很有收获！学过，高效的温习了一遍。谢谢

  • D.Han​ (作者) 回复灰烬之灵2017-08-30

    我也觉得自己写的挺用心，为啥没几个人看呢...

  • 灰烬之灵回复D.Han​ (作者) 2017-08-31

    跟用心无关，话题不同而已。你写影评、撩妹攻略，分分钟上百赞。《big bang theory》里莱纳德做个报告，与会者50人，其实已经非常多了。曲高和寡，国情是多数人的文化素质还有待够高，10年后20年后此文会比现在火得多。

查看全部 7 条回复

  • 彭雨木2017-08-30

    当初选修的时候虽然一知半解，但就是感觉屌啊

  • D.Han​ (作者) 回复彭雨木2017-08-30

    我写的挺通俗易懂啊，复杂的证明我都省略了。

  • 彭雨木回复D.Han​ (作者) 2017-08-30

    呃，我说的是当年上选修课的时候；现在这种状态叫不知其所以然（不懂证明）

查看全部 6 条回复

  • 余小鱼2020-11-01

    感谢"看看你" 未创建，点击以创建。(assets/1621816992-57873997a7be4ebe7993689d80449514.png)

  • 聆灯​2020-10-07

    您好，我想请教一个问题，在已知输入和输出，不知道信道的具体情况情况下，能不能用信息论分析一组输入输出能提供多少关于信道的信息呢？

  • 知有2020-09-28

    通俗易懂![[赞同]](assets/1621816992-caa4b1141f2824076d0fae7afc6d6e37.png)

    1234...8下一页

评论由作者筛选后显示

发布

继续浏览内容

知乎

发现更大的世界

打开

Chrome

继续

原网址: 访问

创建时间: 2021-05-24 08:43:12

目录: default

标签: www.zhihu.com

Interactive Graph
Table Of Contents
信息熵是什么？ - 知乎
190 条评论