内容简介
本书以自然语言处理领域为着眼点，对该领域内的一些经典研究和前沿应用都有涉及，重点介绍了深度学习在自然语言处理中的应用。
本书首先介绍了自然语言处理中的基本概念和基础知识出发，逐步介绍了语言模型、分类任务、信息抽取、知识图谱、机器翻译、摘要生成、句法分析这几种典型的基础型和应用型研究任务的发展、算法原理和模型结构以及未来的趋势及挑战。同时，在本书最后一章，前瞻性地对于目前时下热门的研究方向也进行了分析和讨论。
总体上来说，本书阐述了自然语言处理领域中的重点理论，同时又结合具体应用方向深入浅出地进行融合讲解，争取让读者可以在阅读该书的过程中不会因为技术障碍而产生阅读阻力。因此，本书既可以作为高年级本科生和研究生相关课程的教材，也可供相关领域的工程技术人员参阅。
目录介绍
第1章绪论1
本章思维导图1
1.1自然语言处理发展2
1.1.1什么是自然语言处理?2
1.1.2自然语言处理的发展历史2
1.2自然语言处理的难点5
1.3自然语言处理的发展阶段和流派5
1.3.1理性主义方法阶段和基于规则的专家系统5
1.3.2经验主义方法阶段和基于统计的学习方法6
1.4自然语言处理的应用7
1.4.1文本方面7
1.4.2语音方面9
1.5利用深度学习进行自然语言处理10
1.5.1NLP中的深度学习10
1.5.2NLP中深度学习的局限性11
1.6全书内容安排12
本章参考文献12
第2章自然语言处理基础14
本章思维导图14
2.1语料库与语言知识库15
2.1.1语料库15
2.1.2语言知识库17
2.2文本预处理18
2.2.1数据清洗18
2.2.2分词处理19
2.2.3特征过滤21
2.3文本向量化表示23
2.3.1独热表示23
2.3.2词袋表示24
2.3.3词频逆文档频率24
2.3.4Word2Vec模型25
2.4自然语言处理开源工具库29
2.4.1自然语言处理工具包29
2.4.2斯坦福核心自然语言处理30
2.4.3自然语言处理工具包30
2.4.4复旦自然语言处理30
2.4.5汉语语言处理包30
本章小结31
思考题31
本章参考文献32
第3章神经网络和深度学习33
本章思维导图33
3.1前馈神经网络34
3.1.1基本前馈神经网络35
3.1.2卷积神经网络35
3.1.3注意力网络37
3.2基本循环神经网络39
3.2.1循环神经网络的提出背景39
3.2.2基本循环神经网络结构40
3.2.3循环神经网络的训练41
3.2.4基本循环神经网络存在的问题42
3.3循环神经网络的扩展结构42
3.3.1双向循环神经网络42
3.3.2深度循环神经网络43
3.3.3长短时记忆网络44
3.3.4门控循环单元47
3.3.5循环神经网络的应用48
3.4深度学习概览48
3.4.1激活函数48
3.4.2监督学习和数据集50
3.4.3损失函数51
3.4.4梯度下降和反向传播算法51
3.4.5正则化53
本章小结53
思考题54
本章参考文献54
第4章语言模型55
本章思维导图55
4.1语言模型任务定义56
4.2从统计语言模型到神经网络语言模型56
4.2.1统计语言模型56
4.2.2神经网络语言模型57
4.3语言模型的评价指标59
4.4预训练语言模型60
4.4.1什么是预训练语言模型60
4.4.2ELMo模型61
4.4.3BERT模型63
4.5语言模型的前沿技术与发展趋势67
本章小结69
思考题69
本章参考文献69
第5章分类任务71
本章思维导图71
5.1评价指标72
5.2文本分类75
5.2.1文本分类介绍75
5.2.2基于传统机器学习的文本分类75
5.2.3基于深度学习的文本分类77
5.3情感分析83
5.3.1情感分析介绍83
5.3.2基于传统机器学习的情感分析84
5.3.3基于深度学习的情感分析84
5.4意图识别88
本章小结88
思考题89
本章参考文献89
第6章信息抽取91
本章思维导图91
6.1信息抽取的任务定义91
6.2命名实体识别93
6.2.1信息抽取子任务一93
6.2.2命名实体识别技术方法的演化过程94
6.2.3本节知识点总结96
6.3实体链指97
6.3.1信息抽取子任务二97
6.3.2本节知识点总结100
6.4关系抽取100
6.4.1信息抽取子任务三100
6.4.2关系抽取技术方法的演化过程101
6.4.3本节知识点总结105
6.5事件抽取105
6.5.1信息抽取子任务四105
6.5.2事件抽取技术方法的演化过程106
6.5.3本节知识点总结108
6.6信息抽取前沿技术与发展趋势109
6.6.1信息抽取前沿技术109
6.6.2信息抽取发展趋势109
6.6.3本节知识点总结111
本章小结111
思考题112
本章参考文献112
第7章知识图谱114
本章思维导图114
7.1知识图谱115
7.2知识图谱的定义116
7.3知识图谱的发展历程117
7.4知识图谱的类型和应用场景119
7.4.1知识图谱的类型119
7.4.2知识图谱的典型应用场景121
7.5知识图谱的生命周期和关键性技术123
7.5.1知识表示123
7.5.2知识抽取和知识挖掘132
7.5.3知识存储135
7.5.4知识融合136
7.5.5知识推理137
7.6知识图谱前沿技术、发展趋势与挑战139
7.6.1知识图谱前沿技术139
7.6.2知识图谱的发展趋势140
7.6.3知识图谱面临的挑战141
本章小结143
思考题143
本章参考文献144
第8章机器翻译146
本章思维导图146
8.1机器翻译任务定义147
8.1.1定义147
8.1.2平行语料148
8.2评估标准148
8.2.1遇到的困难148
8.2.2现有评估标准149
8.3发展历程150
8.3.1基于规则的机器翻译150
8.3.2基于实例的机器翻译152
8.3.3统计机器翻译153
8.4神经机器翻译研究现状154
8.4.1编码器解码器模型154
8.4.2三大范式155
8.4.3信息控制158
8.4.4对神经机器翻译的再思考161
8.5前沿技术与发展趋势161
8.5.1前沿技术161
8.5.2发展趋势162
本章小结164
思考题164
本章参考文献164
第9章摘要生成167
本章思维导图167
9.1抽取式文本摘要168
9.1.1抽取式文本摘要的基本介绍168
9.1.2基于传统机器学习的抽取式文本摘要生成方法170
9.1.3基于深度学习的抽取式文本摘要生成方法174
9.2生成式文本摘要175
9.2.1生成式文本摘要的基本介绍175
9.2.2基于语义的生成式文本摘要方法177
9.2.3基于抽取内容的生成式文本摘要方法179
9.3前沿技术、发展趋势与挑战180
本章小结181
思考题182
本章参考文献182
第10章语言分析185
本章思维导图185
10.1依存句法分析187
10.1.1概况187
10.1.2任务定义191
10.1.3评价方法191
10.2成分句法分析192
10.2.1概况192
10.2.2任务定义196
10.2.3评价标准197
10.3语义分析198
10.3.1抽象语义表示198
10.3.2普适概念认知标注202
10.4前沿技术、发展趋势与挑战203
10.4.1依存句法分析203
10.4.2成分句法分析206
10.4.3语义分析209
本章小结211
思考题211
本章参考文献213
第11章其他研究热点与发展趋势展望216
本章思维导图216
11.1超大规模预训练网络217
11.1.1自然语言处理中的预训练技术发展史217
11.1.2超大规模预训练网络介绍——BERT219
11.1.3主流超大规模预训练网络介绍——GPT2220
11.2模型压缩方法222
11.2.1模型剪枝222
11.2.2模型量化223
11.2.3模型蒸馏223
11.3其他热门的研究点225
11.3.1热门研究点介绍——问答系统226
11.3.2热门研究点介绍——机器阅读理解227
11.4多模态任务的举例与现状229
11.4.1多模态学习的概念229
11.4.2图像文本多模态任务举例及研究现状230
本章小结232
思考题232
本章参考文献232