ScienceTechs

《信息论与编码》课程笔记 2 自信息量的相关概念 - 知乎

前情提要：

上一节讲了信息的一些基本概念，初步引入了信息的内容 信息论与编码-课程笔记-1-信息的基本概念-知乎

总结如下：

今天主要讲解自信息量的有关概念：

一、概率论知识复习

1.条件概率：
事件B作为条件，事件A发生的条件概率为事件AB的联合概率除以事件B的概率。
同理有：。

2.联合概率公式：
由上边条件概率公式可以推得事件AB的联合概率：。

3.全概率公式： 是互不相容的一系列事件，且 （样本空间），对任一事件 ，有。

4.贝叶斯公式： 是互不相容的一系列事件，且 （样本空间），对任一事件 ，有。
先将条件概率公式写出，分母用联合概率公式展开，分子用全概率公式展开。

二、离散无记忆信源与自信息

1.离散无记忆信源的数学模型：
一个离散无记忆信源包含n个可能出现的消息组成的集合 ，其中每个消息符号都具有一定的不确定性（每个消息符号都可能从信源发出），这些消息符号满足一定的概率分布 。即 发出的概率为 ， 发出的概率为，......以此类推。所有概率满足非负性和归一性。
离散信源的数学模型可以表示为：

注意 ：大写字母 等表示信源整体，表示一个 随机变量 （有不确定性），而等表示信源中的某个确定的元素，表示 随机事件 。 随机事件是随机变量的取值 。

2.自信息量的概念（描述随机事件的信息量（不确定性））

一个信源（随机事件）发出某一符号，产生某一确定的结果以后所带来的信息量称为自信息量，表示为，它与符号出现的概率倒数成对数函数关系。
附：对数函数的底一般取2，底不同，自信息量的单位不同。底数为2时，自信息量的单位称为比特（bit），以e为底时，自信息量的单位称为奈特（nat）。具体如下：

3.自信息量的意义：

随机事件 的自信息量 表示事件 中包含的信息量，也表示在事件 发生后，不确定性的减少量。

4.自信息量 的性质：

  • 是关于概率 的 单调递减函数
  • 当事件 的概率 时，自信息量 。不可能事件一旦发生，带来的信息量将是巨大的。
  • 当事件 的概率 时，自信息量 。必然事件发生不会带来任何信息量。
  • 可加性 （有条件）：对于 两个相互独立的事件 、 ，有 即： 两个相互独立事件并事件的自信息量等于这两个事件自信息量的和 。
  • 非负性 ：由于 ，所以 。
  • 自信息量 的图像：

三、其他自信息量及其之间的关系

1.两个随机事件离散信源的数学模型：

两个随机变量 、 分别包含 ， 等随机事件，如果他们的联合随机变量中的随机事件满足非负性、归一性等性质，则可以构成两个随机事件的离散信源数学模型，如下图所示：

2.联合自信息量的概念：

顾名思义， 两个随机事件联合事件的自信息量就是联合自信息量 。表示为。
特殊性质：如上文提到的自信息量的可加性， 当两个随机事件、相互独立时，其联合互信息等于两者的互信息之和，

3.条件自信息量的概念：

顾名思义，一个条件概率对应的自信息量即为条件自信息量。表示为。表示 在已经确定的条件下， 发生所带来的信息量 。

4.自信息量、联合自信息量、条件自信息量之间的关系：
由以上公式，有

即满足

可以参照下图进行理解和记忆：（中间粉色区域为互信息，第4篇中有讲到）

欢迎在评论区交流问题~

编辑于 04-22

文章被以下专栏收录 信息论学习笔记 记录信息论知识

原网址: 访问

创建时间: 2021-05-24 08:46:29

目录: default

标签: zhuanlan.zhihu.com

Interactive Graph
Table Of Contents
《信息论与编码》课程笔记 2 自信息量的相关概念 - 知乎
前情提要：
一、概率论知识复习
二、离散无记忆信源与自信息
三、其他自信息量及其之间的关系