信息熵的基本性质

- 设离散信源X的概率空间为：信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。当信源消息集的个数q 给定时，信源的信息熵是概率分布P(x)的函数,概率分布用概率矢量