图（Graph）的广泛应用涵盖了对现实世界对象关系和结构进行建模的多个方面，例如社交网络、交通系统网络以及生物蛋白质相互作用网络等。在这些现实世界的图中，节点通常与文本属性相互关联，形成了文本属性图，因而对文本图上的学习方法的探索已成为图学习、信息检索和自然语言处理等多个领域的突出研究方向。如何有效整合节点属性（文本语义）和图拓扑（结构连接）以促进节点表示的学习，也吸引了越来越多研究者的注意。受到预训练技术最新进展的启发，我们通过预训练语言模型来理解图拓扑，设计合适和有效的预训练任务，将复杂的图拓扑结构中的宝贵知识编码到语言模型中，从而使得语言模型就可以成为文本图学习的基础模型。拓扑预训练后的语言模型无需显式的GNN聚合，从而避免了协同训练范式中的效率挑战。