信息论与编码 习题集五邑大学

期中习题1、同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求：(1)事件“3和5同时出现”的自信息量；⑵事件“两个1同时出现”的自信息量；两个点数之和(即2，3，，12构成的子集)的熵；事件“

期中习题 1 、 1/6 同时掷两个均匀的骰子，也就是各面呈现的概率都是，求： (1)35 事件“和同时出现”的自信息量； 1 ⑵事件“两个同时出现”的自信息量； (3) (2312) 两个点数之和即，，，构成的子集的熵； (4) 1 事件“两个骰子点数中至少有一个是”的自信息量。 、 2{01}p(O)=1/4,p(l)=3/4 某一无记忆信源的符号集为,,已知。 (1) 求信源的熵。 (2) 100(m0100m1 由个符号构成的序列，求某一特定的序列例如有个“”和个“”)的自 信息量的表达式。 (3) (2) 计算中的序列的熵。 3 、丫={ X={01}p(1)=p(0)01} 在一个二进制的信道中，信源消息®，且,信宿的消息集,,信道传 ====== pyxpyx (1l0)1/4(0I1)1/8 输概率,。求： (1)y=0xI(Xy=0) 在接收端收到后，所提供的关于传输消息的平均条件互信息；； I(XY) ⑵该情况下所能提供的平均互信息量；。 4 、 1/3 2/3 p=\ 设一［进制对称信道的概率转移矩阵为 L 2/3 1/3 ⑴杵 旗珀)=站丿鮒)二求 和 H(X)H(X/Y),H(Y,X) 41/4,I(X ， ； 「「 ■-： 5 ^ -. II：-"H--.■■■'■iI ? = p(x)a. ：环心 某信源发送端有两个符号每秒发岀个符号。接收端有三种符 1.2, i 1/21/20 ⑴ 阵卩二 转移概率矩 1/21/41/4 2 ( ) 6 、 计算接收端的平均不确定性; 7 、已知二元信源 1D2D ，求()；() 1 P(x) minmax 计算由于确定性计 噪声产生的不算信道容量。 H(Y/X) ； 设有扰离散道的传输情况分别如、图所不，求该信道的信道容量a h'i 3R(D) ()。答案： 1