H = E [I(X_i)] = ∑ P(x_i) I(x_i)
``
这是离散信源的平均信息量,也称为信息熵(Entropy)。它表示的是信源发出每个符号的概率与其对应的信息量的乘积的期望值。简单来说,就是考虑了所有可能情况出现的可能性及其对应的信息量的加权平均值。
公式中的符号含义如下:
- `E` 表示数学期望(Expectation),即对所有可能情况进行加权平均;
- `I(X_i)` 表示第 `i` 个符号的信息量;
- `P(x_i)` 表示第 `i` 个符号出现的概率;
- `∑` 表示对所有的 `i` 进行求和。
信息量的单位通常用比特(bit)来表示。信息量的大小反映了信号携带的信息多少,信息量越大,说明信号越复杂或者包含的信息越多。
需要注意的是,这里的信源是离散的,也就是说,信源可以产生有限个不同的符号。这些符号按照一定的概率分布出现,每个符号都有其对应的确定的信息量。