物理吧 关注:1,085,811贴子:5,209,124
  • 2回复贴,共1
求助

第二行波浪线怎么理解

只看楼主收藏回复

为啥是近似


IP属地:湖北来自Android客户端1楼2024-05-13 22:08回复
    “近似”(approximation)。这里是在讨论将多个统计独立的符号构成的消息进行近似的计算信息总量的方法。在这种情况下,可以通过将每个符号各自的信息量相乘再累加的方式来估算整个消息的信息量,即`I总=m*H`,其中`m`代表的是符号的数量,`H`则代表单个符号的熵。这种近似方法适用于统计独立的符号构成的消息,因为这些符号之间的相互依赖性很小,可以看作是彼此独立的。


    IP属地:山东来自Android客户端2楼2024-05-15 16:37
    回复
      H = E [I(X_i)] = ∑ P(x_i) I(x_i)
      ``
      这是离散信源的平均信息量,也称为信息熵(Entropy)。它表示的是信源发出每个符号的概率与其对应的信息量的乘积的期望值。简单来说,就是考虑了所有可能情况出现的可能性及其对应的信息量的加权平均值。
      公式中的符号含义如下:
      - `E` 表示数学期望(Expectation),即对所有可能情况进行加权平均;
      - `I(X_i)` 表示第 `i` 个符号的信息量;
      - `P(x_i)` 表示第 `i` 个符号出现的概率;
      - `∑` 表示对所有的 `i` 进行求和。
      信息量的单位通常用比特(bit)来表示。信息量的大小反映了信号携带的信息多少,信息量越大,说明信号越复杂或者包含的信息越多。
      需要注意的是,这里的信源是离散的,也就是说,信源可以产生有限个不同的符号。这些符号按照一定的概率分布出现,每个符号都有其对应的确定的信息量。


      IP属地:山东来自Android客户端3楼2024-05-15 16:37
      回复