《信息论与编码》课程笔记 1 信息的基本概念 - 知乎

消息：表达信息的语言、文字、图像等。如：北京今天是晴天。

信息：蕴含在消息之中。如：上面一句话带来的信息：北京->晴天

信号：为便于信息的传送，在信道中，消息被转变为信号进行传送。如：打电话时，人类的语言声音消息会被转换为电信号，最后通过调制波信号发出，传入信道中，等待另外一端进行接收。

一个通信系统模型：（从中可以看出消息、信号、信息三者之间的关系）

总结：消息是表现形式；信息是本质；信号是载体。

信息就是消息的内容。是主体所感受到的事物的运动状态和变换方式。

信息应该用来表示事物的不确定性。任何已确定的事物都不含有信息。

如：“北京明天可能下雨”含有一定的信息。而“太阳东升西落”中不含有信息。

信息可以带给人一些知识，让人对某一事物的未知性减少。

信息可以产生、小时、携带、存储、处理、度量。

（1）信息传送的是随机变量的值：

在我们收到这个信息之前，这个信息具有未知性。

信息中蕴含的是一个服从某个概率分布的随机变量（具有不确定性）。

消息随机变量的一个取值就是一个事件。

（2）事件发生的概率越小，随机变量的随机性越大，其信息量越大。

（3）两个随机变量相互的依赖性越大，两者的互信息越大。

信息的精髓在于其所描述的不确定性

下一讲：

come back：《信息论与编码》课程笔记（二）——自信息量的相关概念

编辑于 03-14

信息论

文章被以下专栏收录 信息论学习笔记 记录信息论知识

原网址: 访问

创建时间: 2021-05-24 08:46:04

目录: default

标签: zhuanlan.zhihu.com