随着信息技术和各类互联网平台的快速发展，图像、视频、文本等多模态数据呈现爆发式的增长，多模态数据已经成为大数据的主要呈现形式，针对海量多模态数据进行分析和处理、从多个模态中获取知识和价值的现实需求越来越高。本书详细介绍一系列前沿的多模态数据融合与挖掘方法，从多模态聚类、多模态分类等层面对多模态融合与挖掘相关进展进行介绍，具体介绍基于深度多样图对比学习的多模态聚类方法、基于聚类引导的自适应结构增强网络的多模态聚类方法、基于深度子空间学习的半监督多模态数据语义标注方法以及基于深度受限低秩子空间学习的多模态半监督分类方法。在不同数据集上的实验结果验证了所介绍方法的有效性。

目录



第1章绪论1

1.1研究背景1

1.2存在的挑战2

1.3本书主要内容4

第2章研究现状9

2.1本章导读9

2.2多模态聚类9

2.3多模态分类13

第3章基于聚类引导自适应结构增强网络的多模态聚类方法16

3.1本章导读16

3.2方法设计18

3.2.1定义问题18

3.2.2多模态自编码器模块19

3.2.3自适应多模态图结构提取模块19

3.2.4聚类引导的结构增强模块20

3.2.5总损失函数21

3.2.6网络的训练方法22

3.3实验分析23

3.3.1数据集23

3.3.2对比方法和评价准则23

3.3.3实验设置24

3.3.4实验结果24

3.3.5参数敏感性分析27

本章小结28


多模态数据融合与挖掘技术
｜目录｜


第4章基于鲁棒多样化图对比学习的多模态聚类方法30

4.1本章导读30

4.2相关工作33

4.3方法设计34

4.3.1预备知识34

4.3.2多模态统一和特定编码网络35

4.3.3图内的对比正则化36

4.3.4图间的对比正则化37

4.3.5聚类引导的图对比正则化37

4.3.6目标函数与求解38

4.4实验分析39

4.4.1数据集39

4.4.2对比方法39

4.4.3评价准则40

4.4.4实验设置41

4.4.5实验结果41

4.4.6参数敏感性分析44

4.4.7消融实验45

本章小结46

第5章基于深度神经网络的鲁棒多模态聚类方法47

5.1本章导读47

5.2相关工作48

5.3基于深度神经网络的鲁棒多模态聚类方法49

5.3.1细粒度特征提取模块51

5.3.2基于自注意力的细粒度特征增强模块51

5.3.3统一多模态聚类模块52

5.4优化求解53

5.5实验分析53

5.5.1数据集53

5.5.2对比方法54

5.5.3评价准则54

5.5.4实验分析55

本章小结59

第6章基于深度相关预测子空间学习的半监督多模态数据语义标注方法60

6.1本章导读60

6.2方法设计62

6.2.1预备工作62

6.2.2问题描述63

6.3优化方法65

6.3.1深度矩阵分解模型的预训练66

6.3.2更新Z(v)i66

6.3.3更新H(v)m66

6.3.4更新S(v)i67

6.3.5更新Ws和W(v)p68

6.3.6更新F68

6.3.7复杂度分析70

6.4实验分析70

6.4.1实验设置70

6.4.2实验结果71

本章小结74

第7章基于深度受限低秩子空间学习的多模态半监督分类方法75

7.1本章导读75

7.2方法76

7.2.1预备知识76

7.2.2问题提出77

7.2.3优化方法78

7.3实验分析81

7.3.1实验设置81

7.3.2实验结果82

本章小结85

第8章基于置信度评估的可信多模态分类方法86

8.1本章导读86

8.2相关工作88

8.3方法设计89

8.3.1多模态增强编码及一致性和判别性学习89

8.3.2多模态置信度感知融合91

8.3.3多模态分类正则化92

8.3.4总的损失函数93

8.4实验分析93

8.4.1数据集93

8.4.2模型设计与训练93

8.4.3实验结果94

本章小结100

第9章结束语102

参考文献105