内容简介
内 容 简 介
本书主要介绍了与深度学习相关的基础知识及常用的多源图像融合算法。全书包括三大部分:第一部分(第1章)涉及图像融合的定义、发展历史、研究现状和分类,让读者对图像融合有一个直观的认识,并从研究背景与意义、研究现状、评价体系3个角度讲述了多源图像融合的基础知识。第二部分(第2~8章)介绍了基于多模态特征学习和注意力机制的融合方法及在医学领域中的应用。第三部分(第9~12章)介绍了基于深度卷积神经网络的融合框架及在红外与可见光图像融合领域的应用。
本书的理论知识由浅入深,通俗易懂,比较适合初学者了解多源图像融合技术,并结合目前常用的深度学习框架及图像融合实验,深入分析各种算法的性能。本书可作为计算机、通信与信息系统、信号与信息处理等专业的研究生教材或参考书,也可作为多源图像分析、多源图像融合等领域的技术人员和研究人员的参考书。
目录介绍
目录
第1章绪论
11引言
111什么是图像融合
112图像融合的应用
12多源图像融合的研究背景与意义
121医学图像的模态
122研究背景与意义
13多源图像融合的国内外研究现状
131传统的图像融合方法
132基于深度学习的医学图像融合
133图像融合规则
134医学图像融合结果的评估
14本书的结构与内容安排
本章参考文献
第2章基于密集连接网络和自注意力机制的医学图像融合
21引言
22相关工作
221传统图像融合方法
222基于深度学习的融合方法
223自注意力机制
23提出的融合模型
231动机
232问题公式化
233融合网络的结构
234损失函数
235训练细节
24实验结果
241实验数据与参数设置
242评价度量
243不同网络结构的验证
244不同损失的有效性
245对比实验
25本章小结
本章参考文献
第3章基于三叉戟膨胀感知的超密集连接压缩—分解网络
31引言
32相关工作
321传统融合方法
322基于深度学习的图像融合
33提出的融合模型
331问题公式化
332网络结构
333三叉戟膨胀感知
334损失函数
34实验结果与分析
341实验设置
342三叉戟膨胀感知的验证
343双残差超密集连接的有效性
344分解网络的影响
345内容感知损失函数的作用
346灰度损失的验证
347压缩损失的影响
348主观视觉评估
349客观度量评价
35本章小结
本章参考文献
第4章基于Transformer多任务学习的医学图像融合算法
41引言
42Transformer相关理论知识
43基于变压器多任务学习的融合网络结构
431三项自监督图像重建任务
432自适应Transformer模块
433全局特征增强注意力
434损失函数
44实验设计及结果分析
441实验设置
442消融实验
443主观和客观融合结果对比
45本章小结
本章参考文献
第5章基于双级联注意力的医学图像融合算法
51引言
52注意力机制相关理论知识
53基于双级联注意力的融合网络结构
531融合策略
532双级联注意力模块
533两阶段训练策略
54实验设计及结果分析
541实验设置
542消融实验
543主观和客观融合结果对比
55本章小结
本章参考文献
第6章基于跨域双向交互网络的多模态医学图像融合方法
61引言
62方法
621网络框架
622跨域双向交互模块
623SwinTransformer支路
624损失函数
63实验设计与结果分析
631实验设置
632实验结果
633消融实验
64本章小结
本章参考文献
第7章基于跨尺度迭代注意力网络的多模态医学图像融合方法
71引言
72方法
721问题描述
722网络框架
723细节保留模块
724跨模态并行注意力模块
725损失函数
73实验设计与结果分析
731数据集与实验设置
732CTMRI数据集实验结果
733PETMRI数据集实验结果
734SPECTMRI数据集实验结果
735消融实验
74本章小结
本章参考文献
第8章基于显著性引导跨域聚合网络的多模态医学图像融合方法
81引言
82方法
821问题公式化
822网络框架
823嵌套金字塔残差注意力模块
824显著性引导的双重注意力模块
825损失函数
83实验设计和结果分析
831实验配置
832CTMRI数据集实验结果
833PETMRI数据集实验结果
834SPECTMRI数据集实验结果
835消融实验
84本章小结
本章参考文献
第9章基于巢连接与注意力的红外与可见光图像融合方法
91引言
92基于双注意力机制和巢连接的红外与可见光图像融合方法
921融合网络
922融合策略
923训练阶段
924实验及结果
925消融研究
926结果分析
93NAF:基于巢连接轴向注意力的红外和可见图像的融合方法
931网络结构
932轴向注意力
933训练细节
934消融研究
935结果分析
94本章小结
本章参考文献
第10章基于SwinTransformer和混合特征聚合的红外与可见光图像融合方法
101引言
102融合方法
1021网络结构
1022特征聚合模块
1023训练阶段
103实验与结果分析
1031实验设置
1032消融研究
1033结果分析
104本章小结
本章参考文献
第11章基于熵注意力的混合特征聚合红外与可见光图像融合方法
111引言
112融合方法
113基于熵注意力的融合策略
114损失函数与训练设置
115实验与结果分析
1151对比方法和评估指标
1152主观评价
1153客观评价
1154消融实验
116讨论与分析
117本章小结
本章参考文献
第12章基于双流交互与Transformer的红外与可见光图像融合方法
121引言
122网络结构
123双支路交互策略
124损失函数
125实验与结果分析
1251实验设置
1252实验结果对比
1253消融研究
126本章小结
本章参考文献