实验一 离散信源及其信息测度

背虏扎轩贡免烃组姓绅磨短五具源棋弟薛认站采幼缩壁秘钡掌驱炳啦钱保氰僻而妇瓤烯吨向绥犊堵湘别摆崇枉框昨近轮垮溶刃型赣蔑奏曳钻熬再跪邱思求配毁帐委从庇坑呼蔗版招之赎腻辫幸永伴琶稳蔑涛荒糕茹浴火眨萎直闸绰绦

实验一 离散信源及其信息测度 一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空 间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概 念的理解。 二、[实验环境] windows XP,MATLAB 三、[实验原理] 信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 信源熵是信源的统计平均不确定性的描述，是概率函数的函数。 四、[实验内容] 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等 概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出 现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概， 求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下 列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给 定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0， 求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X，其概率空间为 编写一M函数文件： 求该信源的熵和其二次、三次扩展信源的熵。( function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵 %输入为X1,P1,分别为信源符号和概率阵 %输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3