为什么在系统科学导引中讲信息熵?

为什么在系统科学导引中讲信息熵?

有三个目的:进一步体会什么是科学(从问题提出、思想、抽象化、模型或者概念,到检验,到模型或者概念的一般化),学一点点信息论的核心和基础概念并且从中了解信息论在回答什么样的问题,熵和信息熵的概念本身非常具有一般性值得学习。

另外,有一些非常有意思简单又意义深远的小技术也值得了解一下,例如Huffman编码。

学习内容

  1. 从等长度编码开始(举例ASCII码),引入更高效率的编码的问题(举例Morse代码),联系编码长度和频率。
  2. 从一个无偏硬币开始,介绍了解的信息的量的度量的问题,并且定义信息熵。
  3. 有没有一个编码效率的极限(Gibbs不等式),如何达到这个极限(Huffman编码)。
  4. 信息熵的其他应用举例

《为什么在系统科学导引中讲信息熵?》有一个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注