目录介绍
信息论基础教程（第3版）
目录
目录
第1章绪论1
1.1信息的概念1
1.2信息论的研究对象、目的和内容2
习题15
第2章信息的度量6
2.1自信息和互信息6
2.1.1自信息6
2.1.2互信息8
2.2平均自信息8
2.2.1平均自信息的概念8
2.2.2熵函数的性质9
2.2.3联合熵与条件熵13
2.3平均互信息15
2.3.1平均互信息的概念15
2.3.2平均互信息的性质17
2.3.3数据处理定理20
习题221
第3章信源及信源熵25
3.1信源的分类及其数学模型25
3.2离散单符号信源26
3.3离散多符号信源27
3.3.1离散平稳无记忆信源27
3.3.2离散平稳有记忆信源28
3.3.3马尔可夫信源31
3.3.4信源的相关性和剩余度34
3.4连续信源37
3.4.1连续信源的微分熵37
3.4.2连续信源的最大熵40
3.4.3连续信源的熵功率41
习题342
第4章信道及信道容量46
4.1信道的分类46
4.2离散单符号信道及其信道容量47
4.2.1离散单符号信道的数学模型47
4.2.2信道容量的概念49
4.2.3几种特殊信道的信道容量50
4.2.4离散对称信道的信道容量52
4.2.5一般离散信道的信道容量55
4.2.6信道容量定理58
*4.2.7信道容量的迭代算法62
4.3离散多符号信道及其信道容量64
4.4组合信道及其信道容量67
4.4.1独立并联信道67
4.4.2级联信道68
4.5连续信道及其信道容量69
4.5.1连续随机变量的互信息69
4.5.2高斯加性信道的信道容量70
4.5.3多维高斯加性信道的信道容量71
4.6波形信道及其信道容量72
习题472
第5章无失真信源编码77
5.1信源编码的相关概念77
5.1.1编码器77
5.1.2码的分类79
5.2定长码及定长信源编码定理81
5.3变长码及变长信源编码定理84
5.3.1Kraft不等式和McMillan不等式85
5.3.2唯一可译码的判别准则86
5.3.3紧致码平均码长界限定理87
5.3.4无失真变长信源编码定理（香农第一定理）89
5.4变长码的编码方法92
5.4.1香农编码92
5.4.2香农费诺埃利斯编码94
5.4.3二元霍夫曼码94
5.4.4r元霍夫曼码97
5.4.5费诺码98
5.5实用的无失真信源编码方法99
5.5.1游程编码99
5.5.2算术编码102
5.5.3LZW编码104
习题5107
第6章有噪信道编码111
6.1信道编码的相关概念111
6.1.1错误概率和译码规则112
6.1.2错误概率与编码方法117
6.2有噪信道编码定理123
6.3纠错编码125
6.3.1纠错码分类126
6.3.2纠错码的基本概念127
6.3.3线性分组码129
*6.3.4卷积码143
习题6146
第7章限失真信源编码151
7.1失真测度152
7.1.1失真函数152
7.1.2平均失真154
7.2信息率失真函数155
7.2.1D失真许可信道155
7.2.2信息率失真函数的定义155
7.2.3信息率失真函数R(D)的性质156
7.3限失真信源编码定理161
*7.4信息率失真函数的计算161
7.4.1应用参量表示式计算R(D)161
7.4.2率失真函数的迭代算法167
7.5常用的限失真信源编码方法170
7.5.1量化编码170
7.5.2子带编码171
7.5.3预测编码172
7.5.4变换编码173
习题7174
附录A数学预备知识176
A.1概率论与随机过程176
A.1.1概率论的基本概念176
A.1.2随机变量及其分布178
A.1.3多维随机变量及其分布179
A.1.4随机变量的数字特征181
A.1.5随机过程181
A.2凸函数及Jensen不等式185
A.3信道容量定理引理187
A.4渐进等分割性和ε典型序列188
附录B上机作业191
B.1信道容量的迭代算法191
B.2唯一可译码判决准则192
B.3Shannon编码192
B.4Huffman编码193
B.5Fano编码193
B.6LZW编码194
B.7BSC模拟器194
B.8Hamming (7,4)编译码器194
B.9通信系统仿真195
附录C习题解答197
C1第1章习题解答197
C2第2章习题解答197
C3第3章习题解答211
C4第4章习题解答224
C5第5章习题解答237
C6第6章习题解答247
C7第7章习题解答255
参考文献260