本书面向大数据与人工智能产业的蓬勃发展需求，系统介绍了现代自然语言处理与文本信息处理的基础理论、核心算法及前沿工程实践。本书按照“底层基础—核心机制—前沿技术—综合实战”的认知脉络编排，共分为10章。第1~4章涵盖自然语言处理概述、文本预处理与语言模型、文本表示与特征工程、分布式表示与词向量，夯实了非结构化文本的数学化映射基础；第5~7章深入剖析序列建模与循环神经网络、注意力机制与Transformer架构，以及预训练模型与大语言模型，系统解析了深度学习在NLP领域的革命性突破；第8~10章聚焦工业级真实业务场景，详述了电商评论细粒度情感分析系统实战、文本信息检索与LDA主题模型，以及当下主流的大语言模型检索增强生成技术。本书理论与代码实践并重，各章节均辅以详尽的Python示例代码，内容通俗易懂且具有工程指导性。

|目录|目录
第1章 概述………………………………………………………………………… 1
1.1 自然语言处理简介 ………………………………………………………… 1
1.1.1 自然语言处理的含义 ………………………………………………… 1
1.1.2 NLP的主要任务与应用场景 ………………………………………… 2
1.2 核心任务体系 ……………………………………………………………… 4
1.2.1 词法分析 ……………………………………………………………… 4
1.2.2 句法分析 ……………………………………………………………… 5
1.2.3 语义分析 ……………………………………………………………… 6
1.2.4 命名实体识别 ………………………………………………………… 7
1.2.5 篇章分析 ……………………………………………………………… 7
1.3 开发环境搭建 ……………………………………………………………… 7
1.4 示例 ………………………………………………………………………… 9
1.4.1 实验目标与难点分析 ………………………………………………… 9
1.4.2 数据集准备…………………………………………………………… 10
1.4.3 实验步骤与代码实现………………………………………………… 10
1.4.4 实验结果分析………………………………………………………… 15
本章小结 ………………………………………………………………………… 16
第2章 文本预处理与语言模型 ………………………………………………… 17
2.1 引言………………………………………………………………………… 17
2.2 文本清洗与规范化………………………………………………………… 17
2.2.1 正则化与噪声去除…………………………………………………… 18
2.2.2 停用词去除…………………………………………………………… 19
2.2.3 词形还原与词干提取………………………………………………… 19
2.3 中文分词…………………………………………………………………… 20
2.3.1 基于词典的方法……………………………………………………… 20
2.3.2 基于统计的方法……………………………………………………… 22
2.3.3 深度学习Bi-LSTM ………………………………………………… 24
2.4 N-gram与平滑技术 ……………………………………………………… 26
2.4.1 语言模型的定义与链式法则………………………………………… 26
2.4.2 N-gram模型 ………………………………………………………… 27
2.4.3 平滑技术……………………………………………………………… 27
2.5 HMM中文分词器示例…………………………………………………… 28
2.5.1 实验设计与数据结构………………………………………………… 28
2.5.2 代码实现……………………………………………………………… 28
2.5.3 实验运行与分析……………………………………………………… 33
本章小结 ………………………………………………………………………… 34
第3章 文本表示与特征工程 …………………………………………………… 35
3.1 文本的原子化映射………………………………………………………… 35
3.1.1 文本向量化的起源…………………………………………………… 35
3.1.2 独热编码……………………………………………………………… 36
3.1.3 词袋模型……………………………………………………………… 37
3.1.4 特征哈希……………………………………………………………… 39
3.2 TF-IDF算法原理与实现 ………………………………………………… 40
3.2.1 Zipf定律的启示……………………………………………………… 40
3.2.2 算法原理剖析………………………………………………………… 41
3.2.3 Python实现与深度分析 …………………………………………… 42
3.3 特征选择…………………………………………………………………… 43
3.3.1 互信息与信息增益…………………………………………………… 44
3.3.2 卡方统计……………………………………………………………… 45
3.3.3 方法对比……………………………………………………………… 47
3.4 降维技术…………………………………………………………………… 47
3.4.1 奇异值分解…………………………………………………………… 48
3.4.2 LSA的工作原理 …………………………………………………… 48
3.4.3 LSA示例 …………………………………………………………… 49
3.4.4 LSA的优缺点 ……………………………………………………… 50
本章小结 ………………………………………………………………………… 50
第4章 分布式表示与词向量 …………………………………………………… 51
4.1 词向量的直观理解………………………………………………………… 51
4.1.1 语义鸿沟与维度灾难………………………………………………… 51
4.1.2 分布式假设…………………………………………………………… 52
4.1.3 词向量的类比推理…………………………………………………… 53
4.2 CBOW与Skip-gram模型架构 ………………………………………… 53
4.2.1 CBOW模型 ………………………………………………………… 54
4.2.2 Skip-gram模型 ……………………………………………………… 54
4.2.3 计算瓶颈与Softmax的困境………………………………………… 55
4.2.4 层次Softmax优化…………………………………………………… 55
4.2.5 负采样优化…………………………………………………………… 56
4.3 GloVe与FastText ……………………………………………………… 56
4.3.1 全局向量GloVe …………………………………………………… 57
4.3.2 FastText基于子词嵌入解决未登录词问题 ……………………… 58
4.4 实体向量化:Wikipedia2Vec与知识库的结合…………………………… 59
4.4.1 Wikipedia2Vec的三大协同子模型 ………………………………… 59
4.4.2 解决工程痛点:隐式实体链接的自动补全 ………………………… 60
4.4.3 实体向量的下游应用实战…………………………………………… 61
4.5 中文维基百科词向量的词义类比示例…………………………………… 62
4.5.1 实验环境与数据准备………………………………………………… 62
4.5.2 数据预处理…………………………………………………………… 62
4.5.3 模型训练……………………………………………………………… 64
4.5.4 实验结果分析………………………………………………………… 65
本章小结 ………………………………………………………………………… 66
第5章 序列建模与循环神经网络 ……………………………………………… 68
5.1 循环神经网络原理与梯度问题…………………………………………… 69
5.1.1 序列建模的数学定义与计算图展开………………………………… 69
5.1.2 简单循环神经网络的前向传播……………………………………… 69
5.1.3 随时间反向传播与梯度流分析……………………………………… 70
5.1.4 梯度消失与梯度爆炸………………………………………………… 71
5.2 长短期记忆网络…………………………………………………………… 72
5.2.1 核心结构与数学推导………………………………………………… 73
5.2.2 LSTM解决梯度消失的机理………………………………………… 74
5.3 双向LSTM与序列标注 ………………………………………………… 75
5.3.1 单向模型的局限性…………………………………………………… 75
5.3.2 双向LSTM架构 …………………………………………………… 75
5.3.3 序列标注任务与BIO标注体系 …………………………………… 76
5.3.4 Bi-LSTM-CRF结构化预测 ………………………………………… 77
5.4 基于Bi-LSTM-CRF的中文命名实体识别实践 ………………………… 77
5.4.1 实验目标与环境准备………………………………………………… 78
5.4.2 数据预处理…………………………………………………………… 78
5.4.3 模型核心代码详解…………………………………………………… 79
本章小结 ………………………………………………………………………… 82
第6章 注意力机制与Transformer架构 ……………………………………… 84
6.1 注意力机制从Seq2Seq到自注意力的演进……………………………… 84
6.1.1 传统Seq2Seq模型的认知瓶颈……………………………………… 85
6.1.2 早期的注意力机制…………………………………………………… 85
6.1.3 自注意力机制………………………………………………………… 86
6.2 Transformer架构简介 …………………………………………………… 87
6.2.1 宏观视角的编码器与解码器堆叠…………………………………… 87
6.2.2 缩放点积注意力与QKV矩阵 ……………………………………… 87
6.2.3 多头注意力构建多维语义子空间…………………………………… 88
6.2.4 正弦位置编码与相对距离的线性变换……………………………… 89
6.3 归一化与前馈网络的核心机制…………………………………………… 90
6.3.1 残差连接……………………………………………………………… 90
6.3.2 层归一化……………………………………………………………… 90
6.3.3 位置前馈神经网络…………………………………………………… 91
6.4 处理文本的工程实验……………………………………………………… 92
6.4.1 任务定义与预处理掩码机制………………………………………… 92
6.4.2 位置编码模块的PyTorch封装 …………………………………… 93
6.4.3 Transformer分类器核心架构实现 ………………………………… 95
6.4.4 运行机制的优势总结与实验分析…………………………………… 97
本章小结 ………………………………………………………………………… 98
第7章 预训练模型与大语言模型技术 ………………………………………… 99
7.1 预训练范式 ……………………………………………………………… 100
7.1.1 静态词向量的局限与动态上下文表示 …………………………… 100
7.1.2 ELMo的双向循环特征架构 ……………………………………… 100
7.1.3 GPT的单向自回归生成模型 ……………………………………… 101
7.1.4 BERT的双向自编码语言理解 …………………………………… 101
7.2 BERT详解与核心预训练任务 ………………………………………… 102
7.2.1 掩码语言模型与混合掩码策略 …………………………………… 102
7.2.2 下一句预测任务的二分类建模 …………………………………… 103
7.3 微调技术与下游任务适配机制 ………………………………………… 103
7.3.1 特征提取与微调的范式对比 ……………………………………… 104
7.3.2 典型下游任务的架构适配策略 …………………………………… 104
7.4 大语言模型与提示词工程在需求工程中的应用 ……………………… 105
7.4.1 涌现能力与上下文学习机制 ……………………………………… 105
7.4.2 提示词工程 ………………………………………………………… 105
7.4.3 大语言模型在软件需求工程中的应用 …………………………… 106
7.5 实验调用HuggingFace库微调BERT进行情感分类 ………………… 107
7.5.1 实验环境配置与数据集张量化准备 ……………………………… 107
7.5.2 核心训练代码实现与张量计算流分析 …………………………… 108
7.5.3 运行结果剖析与端到端性能推理 ………………………………… 109
7.6 预训练模型与大语言模型的垂直行业应用案例 ……………………… 110
本章小结………………………………………………………………………… 113
第8章 文本信息检索与概率主题模型………………………………………… 115
8.1 信息检索的本质 ………………………………………………………… 115
8.2 经典概率检索模型:Okapi BM25算法 ………………………………… 115
8.2.1 算法原理与核心数学推导 ………………………………………… 116
8.2.2 Okapi BM25检索引擎的Python示例与运行分析 ……………… 117
8.3 LDA概率主题模型 ……………………………………………………… 120
8.3.1 LDA的底层假设与贝叶斯生成过程 ……………………………… 120
8.3.2 联合概率分布与吉布斯采样近似推断 …………………………… 121
8.3.3 scikit-learn下的LDA代码示例与超参数分析…………………… 122
本章小结………………………………………………………………………… 124
第9章 检索增强生成系统……………………………………………………… 125
9.1 引言 ……………………………………………………………………… 125
9.2 RAG系统级架构的核心原理与生命周期……………………………… 126
9.2.1 私有数据索引化与向量特征底座 ………………………………… 126
9.2.2 实时信息检索 ……………………………………………………… 127
9.2.3 跨模态上下文增强与重构生成 …………………………………… 128
9.3 工业级RAG系统的高阶架构进阶优化策略 ………………………… 128
9.4 私有化RAG系统的构建 ……………………………………………… 130
本章小结………………………………………………………………………… 135
第10章 综合工程实践 ………………………………………………………… 136
10.1 业务场景与系统需求剖析……………………………………………… 136
10.1.1 粗粒度与细粒度情感分析的演进………………………………… 137
10.1.2 核心任务拆解与技术栈映射……………………………………… 137
10.1.3 系统整体架构设计………………………………………………… 138
10.2 语料库构建、预处理与探索性特征分析 ……………………………… 139
10.2.1 电商评论数据集简介与结构化特征……………………………… 139
10.2.2 数据清洗规范化与张量化准备…………………………………… 140
10.2.3 基于TF-IDF与词袋模型的特征探索 …………………………… 141
10.3 模块一:基于Bi-LSTM-CRF的评论方面词抽取 …………………… 141
10.3.1 序列标注任务定义与BIO体系 ………………………………… 142
10.3.2 词向量嵌入与双向LSTM特征提取机制 ……………………… 142
10.3.3 条件随机场约束原理与网络代码实现…………………………… 143
10.4 模块二:基于BERT的细粒度情感极性分类 ………………………… 145
10.4.1 情感分类任务的范式转换与模型瓶颈…………………………… 145
10.4.2 面向方面的情感输入对构造……………………………………… 146
10.4.3 BERT微调模型代码实现与评价指标…………………………… 146
10.5 大语言模型提示词工程在细粒度分析中的应用……………………… 149
10.5.1 零样本学习与上下文推理范式…………………………………… 149
10.5.2 结构化提示词设计准则与应用…………………………………… 149
10.6 系统集成与运行时分析………………………………………………… 151
10.6.1 预测封装与面向对象设计………………………………………… 151
10.6.2 综合测试用例的数据流转与结果剖析…………………………… 153
本章小结………………………………………………………………………… 154
附录 缩略词对照表……………………………………………………………… 155
参考文献…………………………………………………………………………… 157