北京邮电大学出版社

本书以香农信息论为基础，系统地介绍信息论各个方面的内容。重点阐述香农信息论与编码的基本概念，各种离散信源、连续信源及其信息测度，离散信道、连续信道及其信道容量的计算，无失真信源编码定理、限失真信源编码定理及其常用的信源编码方法，有噪信道编码定理及其编码方法，信息论相关学科的应用与发展，将信息理论与实际应用紧密结合。
全书共分8章，其中包括：信息的概念，离散信源及其信息测度，离散信道及其信道容量，连续信源和连续信道，无失真信源编码，有噪信道编码，限失真信源编码，信息理论的应用与发展。每章附以详细的例题讲解和相应的MATLAB程序及仿真验证。

目录介绍

第1章绪论1

1.1信息的基本概念1

1.1.1信息的定义2

1.1.2信息的特征3

1.1.3信息、消息和信号的关系4

1.2信息论研究的内容5

1.2.1通信系统模型5

1.2.2信息论研究的内容6

1.3信息论的建立、发展与应用8

习题一11

第2章离散信源12

2.1信源的数学模型及分类12

2.1.1随机变量描述信源输出的消息13

2.1.2随机序列描述信源输出的消息14

2.1.3随机过程描述信源输出的消息15

2.2离散信源的信息熵16

2.2.1自信息16

2.2.2信息熵21

2.2.3信息熵的基本性质29

2.2.4信息熵的唯一性定理37

2.3离散无记忆的扩展信源38

2.4离散平稳信源41

2.4.1离散平稳信源的数学定义41

2.4.2二维平稳信源及其信息熵42

2.4.3离散平稳信源的极限熵45

2.5马尔可夫信源47

2.5.1马尔可夫信源的定义47

2.5.2m阶马尔可夫信源49

2.5.3马尔可夫信源的信息熵49

2.6信源冗余度与自然语言的熵55

2.6.1信源冗余度的定义56

2.6.2冗余的利用57

本章小结58

习题二60

第3章离散信道64

3.1信道的基本概念64

3.1.1信道的分类65

3.1.2离散信道的数学模型65

3.1.3单符号离散信道67

3.2平均互信息70

3.2.1信道疑义度70

3.2.2平均互信息72

3.2.3平均条件互信息81

3.2.4平均互信息的特性86

3.3信道容量的计算方法89

3.3.1离散无噪信道的信道容量90

3.3.2对称离散信道的信道容量93

3.3.3一般离散信道的信道容量99

3.4离散无记忆扩展信道及其信道容量104

3.5串联信道的互信息和数据处理定理108

3.6信源与信道匹配110

本章小结111

习题三111

第4章连续信源和连续信道114

4.1连续信源的熵及其特性114

4.1.1连续信源熵的定义114

4.1.2连续信源熵的特性117

4.1.3几种连续信源的熵118

4.2连续信源的最大熵122

4.3熵功率125

4.4连续熵的变换125

4.5连续信道及其信道容量127

4.5.1连续信道的分类127

4.5.2连续信道的平均互信息127

4.5.3连续信道平均互信息的特性128

4.5.4连续信道的信道容量130

4.5.5连续信道编码定理131

本章小结133

习题四134

第5章无失真信源编码135

5.1信源编码的基本概念136

5.1.1信源编码器136

5.1.2信源编码的分类136

5.1.3唯一可译变长码与即时码137

5.2信源编码定理143

5.2.1渐近等分割性和ε典型序列143

5.2.2等长信源编码定理145

5.2.3变长信源编码定理150

5.3信源编码方法154

5.3.1香农编码155

5.3.2霍夫曼码158

5.3.3费诺码170

5.3.4香农费诺埃利斯码173

5.4几种实用的无失真信源编码方法175

5.4.1游程编码和MH编码175

5.4.2算术编码178

5.4.3LZ编码180

本章小结181

习题五182

第6章有噪信道编码184

6.1信道编码的概念185

6.1.1译码规则185

6.1.2编码方法192

6.2香农第二定理199

6.2.1有噪信道编码定理199

6.2.2有噪信道编码逆定理200

6.2.3信源信道编码定理201

6.3差错控制概述202

6.3.1二元对称信道和错误格式202

6.3.2差错控制分类202

6.3.3常用差错控制码203

6.4信道编码方法204

6.4.1线性分组码204

6.4.2汉明码219

6.4.3循环码221

6.4.4卷积码229

本章小结230

习题六232

第7章限失真信源编码234

7.1失真测度与失真矩阵235

7.1.1失真函数235

7.1.2失真矩阵235

7.1.3平均失真度237

7.2信息率失真函数237

7.2.1D失真许可信道237

7.2.2信息率失真函数的定义238

7.2.3信息率失真函数的性质238

7.2.4信息率失真函数的计算242

7.3限失真信源编码定理248

7.3.1信源编码定理248

7.3.2信源编码逆定理251

7.3.3联合信源信道编码定理252

7.3.4限失真信源编码定理的应用252

7.4限失真信源编码方法256

7.4.1预测编码256

7.4.2变换编码257

7.5信源编码的应用258

7.5.1语音信息编码258

7.5.2图像信息编码259

7.5.3视频信息编码260

本章小结262

习题七263

第8章信息理论的应用与发展266

8.1信息理论的应用266

8.2信息论与其他学科的交叉发展268

8.2.1密码学的应用269

8.2.2金融工程中的信息论问题272

8.2.3信息论在决策树中的应用274

8.2.4人工智能281

8.2.5生命科学282

8.2.6统计学284

8.2.7网络信息论284

附录285

参考文献290