内容简介
本书是北京邮电大学出版社出版的《大数据入门与实验》一书的进阶版。它是为创新创业实践类课程《现代信息技术创新与实践》中大数据技术单元提供的配套教材。本书沿袭原版本组织框架：第一、二章介绍了大数据的时代背景和相关入门知识，包括大数据的基本概念、数据分析流程、大数据技术框架和生态等内容；接着介绍了如何运用基本的大数据知识和工具进行大数据预处理、分析和实验。第三章详细介绍了一款名为BDAP的大数据分析教学平台。BDAP是由北京邮电大学计算机学院（国家示范性软件学院）数据科学与服务中心研发的，整合了该中心二十年来在数据挖掘、数据科学和大数据技术领域的科研成果。该软件平台已经成功地在计算机学院本科生相关的大数据实验课程教学中应用了七年多，数千名学生通过该平台进行学习和实验。第四、五和六章详细介绍了大数据分析教学平台在教学过程中使用的各类实验案例，并根据难易程度逐步介绍了实验的具体过程；第七章由浅入深地介绍各类数据模态常用的分析方法，旨在进一步培养学生利用海量数据进行数据分析和挖掘的兴趣。此外，该章节还以实战为目标，介绍了几个在互联网上流行的大数据相关竞赛平台。第八章继续结合BDAP的教学实践经验，展望科教融汇背景下大数据创新与实践课程建设以及大数据相关专业的实践教学路径。
目录介绍
第1章绪论1
1.1大数据背景介绍1
1.1.1大数据对人才的需求2
1.1.2数据科学与大数据技术专业4
1.1.3大数据专业定位7
1.1.4大数据专业培养目标7
1.2大数据的特征8
1.2.1大数据是什么8
1.2.2大数据的5V特征9
1.3大数据影响10
1.3.1大数据对社会发展的影响10
1.3.2大数据对经济发展的影响11
1.3.3大数据对科学研究的影响12
1.3.4大数据对日常生活的影响13
1.4大数据技术14
1.4.1与大数据技术相关的概念14
1.4.2大数据存储技术15
1.4.3数据处理技术16
1.4.4大数据分析和处理17
1.4.5云计算与大数据18
1.4.6未来趋势和挑战19
1.5大数据的应用21
第2章大数据技术概览24
2.1大数据技术24
2.1.1Hadoop24
2.1.2Spark26
2.1.3HDFS29
2.1.4NoSQL31
2.1.5MapReduce35
2.1.6Kubernetes36
2.2大数据处理与分析38
2.2.1数据分析流程38
2.2.2数据分析技术42
2.2.3机器学习与模型评估49
2.2.4数据分析方法52
2.3云原生大数据55
2.3.1云原生大数据概念55
2.3.2云原生大数据架构56
2.3.3云原生大数据核心能力59
第3章大数据分析教学平台BDAP61
3.1BDAP介绍 61
3.1.1大数据教学的现状与挑战61
3.1.2BDAP总览62
3.1.3平台特点与优势63
3.2功能介绍64
3.2.1文件管理功能64
3.2.2数据挖掘功能68
3.2.3图计算功能72
3.2.4在线编程功能75
3.2.5作业管理功能75
3.2.6深度学习探索功能78
3.2.7多模态功能78
3.2.8大模型功能82
3.2.9用户帮助功能82
3.3BDAP使用指导84
3.3.1登录84
3.3.2BDAP数据管理85
3.3.3数据处理与分析工作流搭建86
3.3.4工作流运行结果与状态查看86
3.3.5查看示例89
第4章大数据基础实验90
4.1基础实验介绍90
4.2初识大数据实验平台91
4.3数据预处理实验94
4.3.1数据导入实验解析94
4.3.2数据清洗实验解析96
4.3.3数据生成与筛选实验解析一100
4.3.4数据生成与筛选实验解析二103
4.3.5数据聚合与排序实验解析一105
4.3.6数据聚合与排序实验解析二108
4.4数据分析实验112
4.4.1分类算法112
4.4.2聚类算法123
4.4.3关联规则133
第5章大数据创新实验案例143
5.1在线编程实验144
5.1.1kmeans算法编程实验144
5.1.2SVM算法编程预处理实验146
5.1.3手写数字识别150
5.2文本分析与分类153
5.2.1文本分析的基础技术153
5.2.2文本分类算法实验155
5.3协同过滤推荐算法157
5.3.1协同过滤ALS157
5.3.2推荐算法实验159
5.4大模型实验161
5.4.1大模型对话161
5.4.2大模型生成工作流163
第6章非结构化数据处理与分析166
6.1文本分析实验166
6.1.1情感分析实验解析166
6.1.2命名实体识别169
6.2图计算实验173
6.2.1图基本属性实验173
6.2.2社团发现实验175
6.3诗图互配实验177
6.3.1实验介绍177
6.3.2实验实操178
6.3.3实验说明180
6.4视频分析实验180
6.4.1基于多模态视频信息的社交关系理解180
6.4.2长视频中人物关系的分析181
6.4.3视频人物社交关系抽取的应用182
第7章从初识走向熟练：个性化培养186
7.1个性化培养目标及途径186
7.2技术渐进187
7.2.1深度学习187
7.2.2自然语言处理191
7.2.3计算机视觉202
7.2.4图计算207
7.3经典案例212
7.3.1Kaggle上的手写数字识别212
7.3.2阿里云天池——以新闻文本分类为例213
7.3.3Biendata214
第8章科教融汇展望216
8.1BDAP教与学216
8.1.1结合BDAP的教学方法216
8.1.2结合大数据特点的实验课程体系建设217
8.1.3教学实践经验总结217
8.2BDAP科教融汇展望219
8.2.1科教融汇的内涵219
8.2.2大数据专业科教融汇的特征220
8.2.3科教融汇下的课程建设思路与实施步骤221
8.2.4实施科教融汇的难点222
参考文献224