北京邮电大学出版社

信息论是现代信息通信领域的基础理论，是研究信息传输和信息处理一般规律的科学。我们在借鉴了国内外众多优秀教材和参考资料之后编写了《信息论基础教程》。本书为第4版,以香农的3个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。鉴于目前各大专院校都在减少学时，本书只介绍经典信息论的内容，没有涉及过多的分支。
本书可作为通信及电子信息类相关专业高年级本科生和研究生的教材，也可作为相关专业科研人员的参考书。

目录介绍

第1章绪论1

1.1信息的概念1

1.2信息论的研究对象、研究目的和研究内容3

习题15

第2章信息的度量6

2.1自信息和互信息6

2.1.1自信息6

2.1.2互信息8

2.2平均自信息8

2.2.1平均自信息的概念8

2.2.2熵函数的性质9

2.2.3联合熵与条件熵13

2.3平均互信息15

2.3.1平均互信息的概念15

2.3.2平均互信息的性质17

2.3.3数据处理定理20

习题221

第3章信源及信源熵26

3.1信源的分类及数学模型26

3.2离散单符号信源27

3.3离散多符号信源28

3.3.1离散平稳无记忆信源29

3.3.2离散平稳有记忆信源30

3.3.3马尔可夫信源32

3.3.4信源的相关性和剩余度36

3.4连续信源39

3.4.1连续信源的微分熵39

3.4.2连续信源的最大熵42

3.4.3连续信源的熵功率43

习题344

第4章信道及信道容量48

4.1信道的分类48

4.2离散单符号信道及其信道容量50

4.2.1离散单符号信道的数学模型50

4.2.2信道容量的概念51

4.2.3几种特殊信道的信道容量53

4.2.4离散对称信道的信道容量54

4.2.5一般离散信道的信道容量57

4.2.6信道容量定理61

*4.2.7信道容量的迭代算法64

4.3离散多符号信道及其信道容量67

4.4组合信道及其信道容量70

4.4.1独立并联信道70

4.4.2级联信道71

4.5连续信道及其信道容量72

4.5.1连续随机变量的互信息72

4.5.2高斯加性信道的信道容量73

4.5.3多维高斯加性信道的信道容量74

4.6波形信道及其信道容量75

习题476

第5章无失真信源编码81

5.1信源编码的相关概念81

5.1.1编码器81

5.1.2码的分类83

5.2定长码及定长信源编码定理85

5.3变长码及变长信源编码定理88

5.3.1Kraft不等式和McMillan不等式89

5.3.2唯一可译码的判别准则90

5.3.3紧致码平均码长界限定理91

5.3.4无失真变长信源编码定理（香农第一定理）93

5.4变长码的编码方法96

5.4.1香农编码97

5.4.2香农费诺埃利斯编码98

5.4.3二元霍夫曼编码98

5.4.4r元霍夫曼编码101

5.4.5费诺编码102

5.5实用的无失真信源编码方法104

5.5.1游程编码104

5.5.2算术编码107

5.5.3LZW编码109

习题5112

第6章有噪信道编码116

6.1信道编码的相关概念116

6.1.1错误概率和译码规则 117

6.1.2错误概率与编码方法122

6.2有噪信道编码定理 128

6.3纠错编码130

6.3.1纠错码的分类130

6.3.2纠错码的基本概念132

6.3.3线性分组码134

*6.3.4卷积码148

习题6151

第7章限失真信源编码155

7.1失真的测度156

7.1.1失真函数156

7.1.2平均失真158

7.2信息率失真函数159

7.2.1D失真许可信道159

7.2.2信息率失真函数的定义159

7.2.3信息率失真函数的性质160

7.3限失真信源编码定理165

*7.4信息率失真函数的计算165

7.4.1应用参量表示式计算信息率失真函数165

7.4.2信息率失真函数的迭代算法171

7.5常用的限失真信源编码方法174

7.5.1量化编码174

7.5.2子带编码175

7.5.3预测编码176

7.5.4变换编码177

习题7178

参考文献180

附录A数学预备知识181

A.1概率论与随机过程181

A.1.1概率论的基本概念181

A.1.2随机变量及其分布183

A.1.3多维随机变量及其分布184

A.1.4随机变量的数字特征187

A.1.5随机过程187

A.2凸函数及Jensen不等式191

A.3信道容量定理的引理193

A.4渐进等分割性和ε典型序列194

附录B上机作业198

B.1信道容量的迭代算法198

B.2唯一可译码判决准则199

B.3香农编码199

B.4霍夫曼编码200

B.5费诺编码200

B.6LZW编码201

B.7BSC模拟器201

B.8汉明(7,4)编译码器201

B.9通信系统仿真202

附录C习题解答204

C1第1章习题解答204

C2第2章习题解答204

C3第3章习题解答218

C4第4章习题解答231

C5第5章习题解答244

C6第6章习题解答254

C7第7章习题解答262