内容简介
文本属性图广泛分布于诸多应用场景之中，其核心挑战在于如何巧妙地融合节点的文本语义特性与图结构的拓扑信息，从而强化节点的表征学习能力，实现高效且精准的学习范式。为应对这一挑战，本书从多个维度对文本属性图进行了综合性的研究探讨，包括文本属性图综合性研究：基准测试与深度思考、细粒度融合节点文本属性的图表示学习、文本属性图上的半监督表示学习、低内存占用的文本属性图表示学习、GNNLM紧耦合的文本属性图表示学习、基于变分推断的大规模文本属性图上的表示学习、基于高频感知分层对比选择性编码的文本属性图表示学习、基于文本属性图表示学习的搜索广告系统、基于拓扑驱动语言模型预训练的推荐系统、基于文本属性图表示学习的社交网络对齐等多方面的研究。这些研究不仅深化了我们对文本数据与图结构融合的理解，也为相关领域的实践提供了坚实的理论基础和丰富的案例指导。
本书旨在为对图神经网络感兴趣或正在从事相关领域研究与实践的广大读者提供全面而深入的指导。同时，本书也可作为撰写学术论文或进行课题研究的参考书籍，可为学术研究和实际应用提供有力的支持。
目录介绍
目录
第1章绪论1
1.1研究背景与研究意义1
1.2相关工作7
1.3主要挑战8
1.4本书的主要贡献9
第2章文本属性图综合性研究:基准测试与深度思考11
2.1引言11
2.2相关工作13
2.3CSTAG:文本属性图上数据集与基准测试14
2.3.1CSTAG概述14
2.3.2数据集构造14
2.3.3文本属性图上传统学习范式16
2.3.4语言模型上拓扑预训练17
2.4实验部分18
2.4.1属性静态建模对GNN的影响19
2.4.2协同训练范式分析20
2.4.3基于PLM的方法与基于GNN的方法的比较21
2.4.4拓扑预训练方法的有效性分析23
2.5讨论24
2.6总结与展望25
第3章细粒度融合节点文本属性的图表示学习26
3.1引言26
3.2融合节点属性的图表示学习模型27
3.2.1问题定义27
3.2.2模型框架28
3.2.3基于拓扑结构的目标函数29
3.2.4基于节点属性的目标函数30
3.2.5联合优化算法31
3.2.6讨论33
3.3实验34
3.3.1数据集介绍34
3.3.2对比方法35
3.3.3节点分类35
3.3.4链接预测36
3.4本章小结37
基于预训练语言模型的文本属性图表示学习及应用
｜目录｜
第4章文本属性图上的半监督表示学习39
4.1引言39
4.2半监督的图表示学习模型41
4.2.1问题定义41
4.2.2模型框架41
4.2.3顺序敏感的图表示学习模型42
4.2.4半监督的图表示学习模型45
4.3实验47
4.3.1数据集介绍47
4.3.2对比方法47
4.3.3网络重构48
4.3.4节点分类49
4.3.5链接预测51
4.3.6参数敏感性分析51
4.4本章小结52
第5章低内存占用的文本属性图表示学习54
5.1引言54
5.2低内存占用的图表示学习57
5.2.1问题定义57
5.2.2基于预训练特征的多热点图表示学习57
5.2.3端到端的多热点图表示学习60
5.3实验62
5.3.1数据集介绍62
5.3.2对比方法63
5.3.3基于预训练特征的多热点图表示学习64
5.3.4端到端的多热点图表示学习68
5.4本章小结70
第6章GNNLM紧耦合的文本属性图表示学习72
6.1引言72
6.2相关工作74
6.3GraphFormers75
6.3.1GNNnested Transformers75
6.3.2模型简化:单向图聚合78
6.3.3模型训练:两阶段渐进式学习78
6.4实验79
6.4.1实验数据和设置79
6.4.2基线方法80
6.4.3整体实验评估80
6.4.4消融实验82
6.4.5效率分析83
6.4.6在Bing搜索中的线上A/B实验83
6.5本章小结84
第7章基于变分推断的大规模文本属性图上的表示学习86
7.1引言86
7.2相关工作87
7.3背景88
7.3.1文本属性图88
7.3.2基于语言模型的节点分类方法89
7.3.3基于图神经网络的节点分类方法89
7.4模型框架89
7.4.1伪似然函数变分框架90
7.4.2参数化技术90
7.4.3期望估计步：语言模型优化91
7.4.4期望最大化步：图神经网络优化92
7.5实验92
7.5.1实验设置92
7.5.2直推式节点分类93
7.5.3无结构的归纳式节点分类95
7.5.4训练范式对比95
7.5.5收敛性分析96
7.6本章小结97
第8章基于高频感知分层对比选择性编码的文本属性图表示学习98
8.1引言98
8.2相关工作101
8.2.1文本属性图上的表示学习101
8.2.2对比学习101
8.3预备知识102
8.3.1定义（文本属性图）102
8.3.2问题陈述103
8.3.3高频感知频谱对比损失103
8.4方法103
8.4.1概述103
8.4.2基于文本属性图的分层对比学习104
8.5实验108
8.5.1实验设置108
8.5.2整体比较109
8.5.3消融实验109
8.5.4效率分析110
8.6本章小结110
第9章基于文本属性图表示学习的搜索广告系统111
9.1引言111
9.2背景定义114
9.2.1问题定义114
9.2.2超图115
9.3方法115
9.3.1整体架构115
9.3.2异构超图的构建115
9.3.3异构文本超图Transformer118
9.3.4相关性模块121
9.3.5目标函数122
9.4实验122
9.4.1实验设置122
9.4.2主要结果124
9.4.3消融实验124
9.4.4冷启动场景下的效果126
9.4.5模型效率分析127
9.5本章小结127
第10章基于拓扑驱动语言模型预训练的推荐系统128
10.1引言128
10.2方法129
10.2.1拓扑驱动的语言模型预训练129
10.2.2基于语义的图丰富化131
10.2.3多通道共同训练模块131
10.2.4多通道聚合与对比学习133
10.2.5训练目标函数133
10.3实验133
10.3.1离线实验结果134
10.3.2在线实验结果135
10.3.3消融研究135
10.4本章小结137
第11章基于文本属性图表示学习的社交网络对齐139
11.1引言139
11.2基于图表示学习的社交网络对齐142
11.2.1准备知识142
11.2.2问题定义143
11.2.3映射函数143
11.2.4单向映射模型SNNAu144
11.2.5双向映射模型SNNAb146
11.2.6正交映射模型SNNAo146
11.3实验147
11.3.1数据集介绍147
11.3.2数据预处理148
11.3.3对比方法148
11.3.4实验结果149
11.3.5模型训练过程分析151
11.4本章小结151
第12章结语153
参考文献156
目录
第1章绪论1
1.1研究背景与研究意义1
1.2相关工作7
1.3主要挑战8
1.4本书的主要贡献9
第2章文本属性图综合性研究:基准测试与深度思考11
2.1引言11
2.2相关工作13
2.3CSTAG:文本属性图上数据集与基准测试14
2.3.1CSTAG概述14
2.3.2数据集构造14
2.3.3文本属性图上传统学习范式16
2.3.4语言模型上拓扑预训练17
2.4实验部分18
2.4.1属性静态建模对GNN的影响19
2.4.2协同训练范式分析20
2.4.3基于PLM的方法与基于GNN的方法的比较21
2.4.4拓扑预训练方法的有效性分析23
2.5讨论24
2.6总结与展望25
第3章细粒度融合节点文本属性的图表示学习26
3.1引言26
3.2融合节点属性的图表示学习模型27
3.2.1问题定义27
3.2.2模型框架28
3.2.3基于拓扑结构的目标函数29
3.2.4基于节点属性的目标函数30
3.2.5联合优化算法31
3.2.6讨论33
3.3实验34
3.3.1数据集介绍34
3.3.2对比方法35
3.3.3节点分类35
3.3.4链接预测36
3.4本章小结37
基于预训练语言模型的文本属性图表示学习及应用
｜目录｜
第4章文本属性图上的半监督表示学习39
4.1引言39
4.2半监督的图表示学习模型41
4.2.1问题定义41
4.2.2模型框架41
4.2.3顺序敏感的图表示学习模型42
4.2.4半监督的图表示学习模型45
4.3实验47
4.3.1数据集介绍47
4.3.2对比方法47
4.3.3网络重构48
4.3.4节点分类49
4.3.5链接预测51
4.3.6参数敏感性分析51
4.4本章小结52
第5章低内存占用的文本属性图表示学习54
5.1引言54
5.2低内存占用的图表示学习57
5.2.1问题定义57
5.2.2基于预训练特征的多热点图表示学习57
5.2.3端到端的多热点图表示学习60
5.3实验62
5.3.1数据集介绍62
5.3.2对比方法63
5.3.3基于预训练特征的多热点图表示学习64
5.3.4端到端的多热点图表示学习68
5.4本章小结70
第6章GNNLM紧耦合的文本属性图表示学习72
6.1引言72
6.2相关工作74
6.3GraphFormers75
6.3.1GNNnested Transformers75
6.3.2模型简化:单向图聚合78
6.3.3模型训练:两阶段渐进式学习78
6.4实验79
6.4.1实验数据和设置79
6.4.2基线方法80
6.4.3整体实验评估80
6.4.4消融实验82
6.4.5效率分析83
6.4.6在Bing搜索中的线上A/B实验83
6.5本章小结84
第7章基于变分推断的大规模文本属性图上的表示学习86
7.1引言86
7.2相关工作87
7.3背景88
7.3.1文本属性图88
7.3.2基于语言模型的节点分类方法89
7.3.3基于图神经网络的节点分类方法89
7.4模型框架89
7.4.1伪似然函数变分框架90
7.4.2参数化技术90
7.4.3期望估计步：语言模型优化91
7.4.4期望最大化步：图神经网络优化92
7.5实验92
7.5.1实验设置92
7.5.2直推式节点分类93
7.5.3无结构的归纳式节点分类95
7.5.4训练范式对比95
7.5.5收敛性分析96
7.6本章小结97
第8章基于高频感知分层对比选择性编码的文本属性图表示学习98
8.1引言98
8.2相关工作101
8.2.1文本属性图上的表示学习101
8.2.2对比学习101
8.3预备知识102
8.3.1定义（文本属性图）102
8.3.2问题陈述103
8.3.3高频感知频谱对比损失103
8.4方法103
8.4.1概述103
8.4.2基于文本属性图的分层对比学习104
8.5实验108
8.5.1实验设置108
8.5.2整体比较109
8.5.3消融实验109
8.5.4效率分析110
8.6本章小结110
第9章基于文本属性图表示学习的搜索广告系统111
9.1引言111
9.2背景定义114
9.2.1问题定义114
9.2.2超图115
9.3方法115
9.3.1整体架构115
9.3.2异构超图的构建115
9.3.3异构文本超图Transformer118
9.3.4相关性模块121
9.3.5目标函数122
9.4实验122
9.4.1实验设置122
9.4.2主要结果124
9.4.3消融实验124
9.4.4冷启动场景下的效果126
9.4.5模型效率分析127
9.5本章小结127
第10章基于拓扑驱动语言模型预训练的推荐系统128
10.1引言128
10.2方法129
10.2.1拓扑驱动的语言模型预训练129
10.2.2基于语义的图丰富化131
10.2.3多通道共同训练模块131
10.2.4多通道聚合与对比学习133
10.2.5训练目标函数133
10.3实验133
10.3.1离线实验结果134
10.3.2在线实验结果135
10.3.3消融研究135
10.4本章小结137
第11章基于文本属性图表示学习的社交网络对齐139
11.1引言139
11.2基于图表示学习的社交网络对齐142
11.2.1准备知识142
11.2.2问题定义143
11.2.3映射函数143
11.2.4单向映射模型SNNAu144
11.2.5双向映射模型SNNAb146
11.2.6正交映射模型SNNAo146
11.3实验147
11.3.1数据集介绍147
11.3.2数据预处理148
11.3.3对比方法148
11.3.4实验结果149
11.3.5模型训练过程分析151
11.4本章小结151
第12章结语153
参考文献156