内容简介
在本书第1章中，从知识自动获取的角度阐述了人工智能、模式识别和机器学习之间的关系。模式识别是推动人工智能发展的代表性问题，其难点在于知识的获取方式。为了解决模式识别问题，研究者发展了基于数据自动获取知识的理论和方法，即机器学习。当前的机器学习技术不仅能够解决模式识别问题，还扩展到更广泛的人工智能任务形式，如生成式人工智能（AIGC）、人工智能驱动的科学研究（AI for Science）和具身智能（Embodied Intelligence）等。因此，学习人工智能的基础知识应当从模式识别和机器学习入手。
第2章介绍了在已知所有相关知识的情况下，对未知类别样本进行分类判断的统计决策理论。第3至第6章介绍了各种分类器模型及其监督学习方法，并按照概率模型到非概率模型、线性模型到非线性模型、参数模型到非参数模型的顺序进行介绍。第3章介绍了概率模型的学习方法，第4章介绍了各种线性模型，第5章介绍了最具代表性的非线性参数模型，即神经网络，第6章介绍了几种常见的非参数模型。这些章节建立在类别体系和特征体系已经建立的基础上。第7章讨论了如何通过非监督学习进行聚类以建立类别体系，而第8章主要介绍了通过非监督学习来提取特征和优化特征的方法。
目录介绍
第1章绪论1
1.1模式识别与机器学习1
1.1.1模式识别1
1.1.2机器学习2
1.1.3机器学习任务的类型3
1.2机器学习的推理方式4
1.2.1机器学习的一般形式4
1.2.2不确定性4
1.2.3建立在统计学基础上的归纳推理5
1.3机器学习方法三要素：模型形式6
1.3.1机器学习的数学形式6
1.3.2模型的种类7
1.3.3特征表示与表示学习8
1.4机器学习方法三要素：准则函数9
1.4.1损失函数与期望风险9
1.4.2经验风险与泛化能力10
1.4.3影响泛化能力的主要因素11
1.4.4改善模型泛化能力的准则函数14
1.5机器学习方法三要素：求解算法15
1.5.1优化问题与求解算法15
1.5.2常见的求解算法16
1.6本书的组织结构18
思考题19
第2章统计决策理论20
2.1介绍20
2.2模式识别中的概率论20
2.2.1概率形式的分类知识20
2.2.2贝叶斯推断的基本方法22
2.2.3生成模型与判别模型23
2.3模式识别中的统计决策理论24
2.3.1决策空间与决策准则24
2.3.2最小错误率准则25
2.3.3错误率分析27
2.3.4常用评价指标29
2.3.5最小风险准则30
2.4常见概率分布33
2.4.1二元变量33
2.4.2多元变量34
2.4.3正态分布35
2.4.4多元正态分布的性质36
2.4.5正态分布下的最小错误率准则39
2.5本章小结43
思考题43
第3章概率密度函数估计44
3.1介绍44
3.2最大似然估计45
3.2.1最大似然估计的基本原理45
3.2.2正态分布下的最大似然估计47
3.2.3最大似然估计的过拟合问题49
3.3贝叶斯估计50
3.3.1最大后验估计50
3.3.2最小风险贝叶斯估计53
3.3.3预测分布56
3.4概率密度函数的非参数估计方法59
3.4.1直方图方法与非参数估计的基本原理59
3.4.2核函数估计61
3.4.3近邻估计63
3.5常见的生成模型64
3.5.1朴素贝叶斯分类器64
3.5.2隐马尔可夫模型66
3.5.3贝叶斯网络68
3.6本章小结71
思考题72
第4章线性模型73
4.1介绍73
4.2线性回归模型74
4.2.1线性基函数模型74
4.2.2准则函数：平方误差与最大似然76
4.2.3准则函数：正则化与最大后验78
4.3线性判别函数81
4.3.1线性判别函数的一般形式81
4.3.2线性判别分析84
4.3.3感知器87
4.4逻辑回归模型89
4.4.1生成模型的决策函数89
4.4.2概率判别模型91
4.4.3广义线性模型93
4.5本章小结94
思考题94
第5章神经网络95
5.1介绍95
5.2神经元与网络结构95
5.2.1神经元95
5.2.2网络结构100
5.3前馈神经网络101
5.3.1前馈型神经网络的模型形式101
5.3.2神经网络模型的基本原理103
5.4误差反向传播算法105
5.4.1前馈网络的学习任务与准则函数105
5.4.2前馈网络学习的主要步骤107
5.4.3计算梯度的误差反向传播算法108
5.5神经网络的正则化方法111
5.5.1神经网络的过拟合和欠拟合111
5.5.2神经网络的直接正则化112
5.5.3其他正则化方法113
5.6本章小结116
思考题117
第6章非参数模型118
6.1介绍118
6.2近邻法模型118
6.2.1最近邻模型119
6.2.2K近邻模型122
6.2.3压缩近邻法123
6.3核模型124
6.3.1对偶表示124
6.3.2核函数模型126
6.4支持向量机127
6.4.1统计学习理论中的容量控制原理127
6.4.2硬间隔最大化支持向量机129
6.4.3软间隔最大化支持向量机132
6.4.4支持向量机与其他线性模型的对比分析134
6.5本章小结136
思考题137
第7章非监督学习与聚类138
7.1介绍138
7.2聚类问题140
7.2.1聚类的研究问题140
7.2.2类别与概念142
7.3K均值聚类144
7.3.1K均值聚类的模型与准则函数144
7.3.2求解算法145
7.4高斯混合模型147
7.4.1高斯混合模型与参数147
7.4.2准则函数148
7.4.3求解算法150
7.5期望最大化算法152
7.5.1具有隐藏变量的优化问题152
7.5.2EM算法的思路与步骤152
7.6本章小结153
思考题154
第8章特征空间的降维与优化155
8.1介绍155
8.1.1测量空间与特征空间155
8.1.2传统的特征构建与特征优化方法158
8.1.3表示学习159
8.2主成分分析161
8.2.1主成分分析的基本思想162
8.2.2主成分分析的核心方法162
8.2.3实际应用中的主成分分析165
8.2.4KarhunenLoève变换167
8.3潜在语义分析168
8.3.1潜在语义分析的基本思想169
8.3.2矩阵的奇异值分解171
8.3.3基于奇异值分解的潜在语义分析模型173
8.3.4基于非负矩阵分解的话题模型174
8.4概率潜在语义分析176
8.4.1概率潜在语义分析原理176
8.4.2概率潜在语义分析的学习方法178
8.4.3潜在狄利克雷分配180
8.5表示学习的新方法181
8.5.1Word2Vec模型182
8.5.2自编码器186
8.6本章小结187
思考题187
参考文献188
索引189