目录介绍
第1章绪论1
1.1信息论的诞生和发展1
1.2信息论与人工智能的渊源2
1.3信息论在当代人工智能中的作用3
1.4本书的内容4
1.5本章小结5
本章习题5
第2章信息论的基本概念6
2.1离散信息熵6
2.1.1自信息6
2.1.2信息熵7
2.1.3最大熵定理9
2.1.4熵的关系11
2.2离散互信息12
2.2.1互信息的数学定义12
2.2.2互信息与熵的关系13
2.2.3互信息的性质15
2.2.4互信息的极值性15
2.2.5信息不增性原理16
2.3连续随机变量的信息度量16
2.3.1连续随机变量的熵16
2.3.2连续最大熵定理18
2.3.3连续随机变量的互信息20
2.3.4连续随机变量互信息的极值性21
2.4KL散度和交叉熵23
2.4.1KL散度的定义23
2.4.2KL散度的性质24
2.4.3交叉熵的定义24
2.4.4交叉熵的性质24
2.5香农编码定理25
2.5.1系统模型25
2.5.2香农三大定理26
2.5.3联合信源信道编码定理27
本章习题27
第3章经典机器学习中的信息论29
3.1决策树算法中的信息论应用29
3.1.1信息熵与决策树29
3.1.2信息增益原理31
3.1.3基于信息增益的决策树构建32
3.1.4信息论视角的方法比较41
3.2聚类算法中的信息论应用42
3.2.1信息度量基础42
3.2.2经典的基于信息论的聚类方法45
3.2.3深度主题46
3.2.4实践应用48
3.3降维算法中的信息论应用50
3.3.1信息保持的基本原理50
3.3.2PCA的信息论视角52
3.3.3流形学习的信息论解释53
3.3.4信息丢失最小化策略54
3.4集成学习中的信息论应用56
3.4.1模型多样性度量56
3.4.2Boosting算法的信息增益分析58
3.4.3基于互信息的模型融合策略62
3.4.4信息论指导下的集成学习设计63
3.5模型选择中的信息论应用64
3.5.1AIC65
3.5.2BIC66
3.5.3最小描述长度原理68
3.5.4交叉熵损失70
3.5.5统一视角71
3.6核心思想73
3.6.1学习即压缩73
3.6.2泛化即编码74
3.6.3优化即信息提取76
3.6.4统一的信息论框架77
本章习题78
第4章信息论视角下的大语言模型81
4.1大语言模型架构视角81
4.1.1注意力机制与信息选择81
4.1.2层间信息传递与损耗83
4.1.3模型容量与信息瓶颈84
4.2大语言模型训练过程视角86
4.2.1信息压缩原理87
4.2.2信息提取机制88
4.2.3理论分析与实践指导90
4.3大语言模型压缩视角93
4.3.1信息保持理论基础93
4.3.2模型压缩的信息论方法96
4.3.3压缩方法的理论分析99
4.3.4实践指导与未来展望100
4.4熵引导的注意力机制与私有化大语言模型102
4.4.1非线性操作在LLM中的双重信息论意义102
4.4.2面向私有推理的熵引导架构优化103
4.4.3实验验证与对私有推理的增益107
4.4.4理论启示与总结107
4.5四点归纳108
4.5.1信息论指导模型设计108
4.5.2压缩与性能权衡110
4.5.3效率与准确性平衡111
4.5.4未来发展方向112
本章习题113
第5章信息论视角下的具身智能116
5.1感知行为回路116
5.1.1信息获取116
5.1.2信息处理119
5.1.3系统构建与实践落地121
5.1.4理论意义与实践思考122
5.2智能涌现视角123
5.2.1信息流动124
5.2.2复杂性产生126
5.3学习机制129
5.3.1运动技能的信息表征130
5.3.2经验记忆的信息压缩132
5.3.3多模态信息融合134
5.3.4学习算法设计启示136
5.4行为熵：融合人类感知不确定性的机器人探索新视角138
5.4.1广义熵与行为熵的提出138
5.4.2行为熵的特性：敏感度与感知度139
5.4.3基于行为熵的机器人探索策略140
5.4.4实验验证与对具身智能的启示141
5.5延伸讨论143
5.5.1智能产生的信息学基础143
5.5.2身体作为信息处理的载体144
5.5.3环境互动中的信息涌现146
5.5.4未来展望147
本章习题149
第6章信息论视角下的强化学习151
6.1策略优化视角151
6.1.1互信息最大化152
6.1.2信息瓶颈理论154
6.2价值学习视角157
6.2.1信息熵与不确定性157
6.2.2信息增益最大化159
6.2.3实践应用与理论分析161
6.3算法设计与应用162
6.3.1信息正则化163
6.3.2信息引导探索165
6.3.3算法实践指导167
6.4熵引导的多头奖励聚合：提升强化学习对齐的可靠性168
6.4.1评分熵与规则可靠性的关联169
6.4.2ENCORE:基于熵惩罚的组合式奖励聚合方法169
6.4.3理论依据170
6.4.4对强化学习的启示与实践意义170
6.5本质思考171
6.5.1学习即信息获取过程172
6.5.2决策即信息压缩结果173
6.5.3智能即信息处理能力174
6.5.4理论启示与未来展望175
本章习题176
参考文献179