信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题

一﹑填空题（每题2分，共20分）

1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的）

2.电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103 10个不同的画面。按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。

（考点：信息量的概念及计算）

3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类）

4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。

（考点：等长码编码位数的计算）

5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念）

6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。

（考点：纠错码的分类）

7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。

（考点：线性分组码的基本概念）

8.定义自信息的数学期望为信源的平均自信息量，即

q

1

（H(X) E log。 P(ai)logP(ai)）

P(ai) i 1

5

信息论基础理论与应用考试题及答案

（考点：平均信息量的定义）

9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求 （d≥t+e+1）。 （考点：线性分组码的纠检错能力概念）

10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。

（考点：连续信道和波形信道的信道容量）

二﹑判断题（每题2分，共10分）

1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。 （ 对 ） （考点：信源剩余度的基本概念）

2.信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。 （ 错 ） （考点：有色噪声信道的概念）

3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。 （ 对 ） （考点：非奇异码的基本概念）

4.在一个二元信道的n次无记忆扩展信道中，输入端有2n个符号序列可以作为消息。 （ 对 ） 5.卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力劣于分组码。 （ 错 ） （考点：卷积码的纠错能力）

三﹑名词解释（每题3分，共12分）

1. 信源编码

信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率，所以又称为信源压缩编码。 （考点：信源编码的基本概念） 2. 马尔可夫信源

信息论基础理论与应用考试题及答案

信源某t时刻所处的状态由当前的输出符号和前一时刻（t-1）信源的状态唯一决定，则称此信源为马尔可夫信源。 （考点：马尔可夫信源的基本概念） 3. 熵功率

若平均功率为P的非高斯分布的信源具有熵为h，称熵也为h的高斯信源的平均功率为熵功率P，即熵功率是P （考点：熵功率的定义） 4. 即时码

在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。 （考点：即时码的定义）

12h

e。 2 e

四﹑简答题（每题4分，共16分）

1．信息熵的基本性质有哪些？

答：信息熵的基本性质包括对称性﹑确定性﹑非负性﹑扩展性﹑可加性﹑可

强加性﹑递增性﹑极值性﹑上凸性。 （考点：信息熵的基本性质）

2．由香农公式可以得出的重要结论有哪些？

答：（1）提高信号与噪声功率之比能增加信道的信道容量；

（2）当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连

续信道的信道容量为无穷大；

（3）信道容量一定时，带宽﹑传输时间和信噪功率比三者之间可以互换； （4）增加信道带宽（也就是信号的带宽），并不能无限制地使信道容量增

大；

（5）给出了无错误通信的传输速率的理论极限，成为香农极限。 （考点：对香农公式的深入理解所得出的重要结论） 3．（n,k）线性分组码的重要性质有哪些？

答：（1）（n,k）线性分组码由其生成矩阵G或校验矩阵H确定； （2）封闭性； （3）含有零码字；

信息论基础理论与应用考试题及答案

（4）所有许用码字可由其中一组k个独立码字线性组合而成； （5）码的最小距离等于非零码的最小重量。 （考点：（n,k）线性分组码的重要性质） 4．通信网络信道可划分成哪几种情况？

答：（1）多址接入信道；（2）广播信道；（3）中继信道；（4）串扰信道；（5）

双向信道；（6）多用户通信网；（7）具有反馈的信道。

（考点：通信网络信道的划分）

五﹑计算题（每题8分，共32分）

1．有一布袋内放100个球，其中90个球是红色的，10个球是蓝色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 (考点：自信息量的基本概念及计算方法) 解：这一随机事件的概率空间为

X a1a2

p(x) 0.90.1

a1——表示摸出的是红球 a2——表示摸出的是蓝球

若被告知摸出的是红球，那么获得的信息量为

I(a1)=-logp(a1)=-log0.9比特

若被告知摸出的是蓝球，那么获得的信息量为

I(a2)=-logp(a2)=-log0.1比特

若每次摸出一个球后又放回去，再进行第二次摸取。那么摸取n次后，红球出现的次数为n p(a1)次，蓝球出现的次数约为n p(a2)次。则摸取n次后总共所获得的信息量为

n p(a1)I(a1)+n p(a2)I(a2)

所以，平均摸取一次所能获得的信息量约为

信息论基础理论与应用考试题及答案

H(X) p(a1)logp(a1) p(a2)logp(a2)

p(ai)logp(ai)

i 12

0.9log0.9 0.1log0.1 0.469比特/符号

2．设二进制对称信道的传递矩阵为

2 3 1 3

1

3 2 3

若p(0)=3/4，p(1)=1/4，求H(X)﹑H(X|Y) ﹑H(Y|X) 和H(X;Y)。 （考点：信息熵和条件熵的计算） 解：联合概率矩阵为

p(0)

PXY

0

20 3

p(1) 1

3

1 1

3 2 2 1

123

1

4 1 6

边缘概率分布为

PX p(0)

11

P Y 212

p(1)

11 75

46 1212

H(X)= p(0)log2p(0) p(1)log2p(1) 0.811bit

2

3 1 3

1

3 2 3

又信道传递矩阵PY|X

故

H(Y|X) p(xiyj)logp(yj|xi)

i 1j 12

2

12111112

log2 log2 log2 log2

234312363 0.918bit