企业官网建设流程全解析

前言

第二章，很多同学第一个翻车点！

公式不长，看着简单，但是经常分不清自信息和熵。网上很多笔记只会说“惊喜值”，咱们换个更好玩的说法：意外分。一件事越出乎意料，它的意外分就越高。

结合理论小故事，人话讲清楚，看完不用死硬背。

📜相关小故事

早在香农出手之前，哈特莱1928年就想到了：一堆等概率符号，信息量和符号数量取对数挂钩。

但是这个方案有短板！现实里绝大多数事件概率不一样，有的稀罕、有的天天发生，哈特莱这套没法处理。

香农保留对数的形式，又从热力学借来“熵”这个名字。热力学熵描述微观粒子乱不乱；信息熵，用来描述一件事到底有多难预判。

⚠️考试坑提醒：两个熵长得像，但根本不是一回事，简答写错直接扣分！

前置小提醒

这一章全靠概率论打底，贝叶斯公式一定要熟，后面条件熵、互信息全要用到，别等到后面再回头补。

二、自信息量 I(x_i)

I(x_i)=-\log_2 p(x_i)

单位：bit

🧩理解：自信息 = 这件事发生，带给你的意外分

概率极小的冷门事件突然发生，意外感爆炸，自信息很大；

百分之百会发生的事，毫无意外，自信息=0。

几条简单性质：

1. 概率越小，意外分越高；

​

2. p=1，I=0；概率无限趋近0，信息量直接冲向无穷；

​

3. 信息量不会是负数，一件事不可能“负意外”。

重点：自信息只针对单独一件事、单个符号，这件事发生了才有这个值，是随机的。

三、信息熵 H(X)

熵，就是这个信源，所有符号意外分的平均值，也就是平均意外度。

H(X)=-\sum_{i} p(x_i)\log_2 p(x_i)

拿二元信源举例，只有0和1，P(1)=p，P(0)=1-p

二元熵：H(p)=-p\log_2 p-(1-p)\log_2(1-p)

p=0.5，0和1对半开，完全猜不到下一个是啥，平均意外拉满，H=1\ \text{bit}

​

p=0或者p=1，永远只输出同一个符号，毫无悬念，熵=0

📚本章学习思路

1. 刷题循序渐进：先算单个事件自信息 → 再算整个信源熵 → 吃透二元熵曲线；

​

2. 自己动手画一遍二元熵曲线，最高点在0.5这个考点选择填空反复考；

​

3. 做一张对比小卡片：

​

自信息：单次事件，随机，单次意外

​

熵：整个信源，平均值，整体好不好猜

❌高频误区避雷

别搞错！熵很大 ≠ 你收获了很多信息

✅真相：熵大，只是代表这件事本来很难猜；只有消息到来之后，被抹平的那一部分不确定，才是你拿到的信息。

🎈趣味小知识

对数底数可以换着玩：底数2 → bit，适配二进制；底数10叫哈特莱；自然常数e叫奈特。

香农选2不是随便挑的，是专门适配当时正在崛起的二进制数字电路，于是bit一路火到现在。

小结

自信息量：单条事件，衡量有多出人意料；

​信息熵：整体平均，衡量整个信源好不好预判。

🧠思维导图文本

🤔脑洞思考题：均匀六面骰子，和一个被动过手脚、更容易投出6的骰子，哪个熵更高？

下期预告

联合熵、条件熵、互信息！搞懂两个信号之间，偷偷共享了多少线索。