目录介绍
第1章概论1
1.1研究背景与意义1
1.1.1卫星自主任务规划技术应用概况1
1.1.2卫星智能决策技术的需求与挑战2
1.2强化学习研究现状5
1.2.1强化学习范式与问题定义5
1.2.2经典方法：DP、MC、TD与Qlearning7
1.2.3深度强化学习与端到端决策8
1.3卫星智能决策研究现状11
1.3.1卫星智能决策范式与问题定义12
1.3.2卫星智能决策发展历程12
本章小结15
第2章强化学习技术16
2.1强化学习问题建模与基本理论16
2.1.1马尔可夫决策过程17
2.1.2价值函数、贝尔曼期望方程与优势函数19
2.1.3价值估计方法21
2.2强化学习算法23
2.2.1参数化策略与性能目标函数24
2.2.2策略梯度定理24
2.2.3ActorCritic框架25
2.3近端策略优化27
2.3.1PPO的剪切代理目标函数27
2.3.2PPO的完整损失函数28
2.3.3PPO的训练流程29
2.4多智能体强化学习基础30
2.4.1马尔可夫博弈31
2.4.2分散可观测32
2.4.3核心难点33
2.4.4信用分配33
2.4.5CTDE结构34
2.5多智能体近端策略优化36
2.5.1MAPPO的策略目标36
2.5.2集中式Critic的优势估计构造方法38
2.5.3MAPPO的损失函数与训练流程38
本章小结39
第3章卫星动力学与控制基础40
3.1坐标系定义40
3.2开普勒轨道介绍41
3.3卫星轨道与姿态动力学42
3.3.1卫星轨道动力学42
3.3.2卫星姿态动力学43
3.4卫星相对动力学建模44
3.5卫星六自由度姿轨建模与控制46
3.5.1卫星六自由度姿轨联合动力学建模46
3.5.2位置悬停指向自适应控制律49
3.5.3对机动目标的自适应控制律设计52
3.6卫星零和微分博弈方法54
3.6.1零和微分博弈定义54
3.6.2鞍点存在的必要条件55
3.6.3双边最优策略求解57
本章小结61
第4章基于强化学习的卫星智能博弈技术62
4.1数据—模型双驱动下的智能追踪方法62
4.1.1基于控制律的强化学习方法63
4.1.2失效非合作目标追踪控制参数自整定方法65
4.1.3机动非合作目标追踪控制参数自整定方法65
4.2追踪星智能抗扰追踪策略66
4.2.1追踪星模糊强化学习过程67
4.2.2追踪星预训练过程70
4.3环境信息不完全下的卫星博弈对抗策略72
4.3.1一对一追逃博弈建模72
4.3.2卫星智能博弈对抗策略75
本章小结81
第5章基于强化学习的卫星资源管理技术82
5.1Basilisk卫星资源模拟平台介绍82
5.1.1Basilisk设计理念的底层逻辑82
5.1.2Basilisk的内置模块84
5.1.3自主导航算法与智能算法的集成与仿真87
5.2卫星调度任务与模块连接88
5.2.1对星观测任务89
5.2.2数据传输任务90
5.2.3对日充电任务91
5.2.4动量卸载任务93
5.3基于蒙特卡洛树搜索的卫星自主资源管理技术95
5.3.1蒙特卡洛树搜索原理95
5.3.2蒙特卡洛树搜索的状态空间、动作空间与奖励函数设计99
5.4空间任务场景与仿真100
5.4.1地月空间轨道转移场景100
5.4.2实验仿真103
本章小结107
第6章融合多任务学习的多智能体博弈技术108
6.1多任务学习108
6.1.1多任务学习梯度冲突108
6.1.2多任务学习梯度冲突分类109
6.2融合多任务学习的多智能体博弈技术基础111
6.3基于因果表征与最大边际相关性的集群卫星博弈策略112
6.3.1集群卫星博弈策略113
6.3.2基于最大边际相关性的多样性任务采样115
6.3.3集群卫星博弈实验结果与分析119
本章小结125
第7章异构卫星协同博弈平台搭建126
7.1平台搭建目标与需求分析126
7.1.1平台业务负载与需求127
7.1.2平台资源支撑与需求127
7.1.3平台运行保障与需求128
7.2云原生与Kubernetes关键技术基础128
7.2.1Docker容器虚拟化技术128
7.2.2网络、服务与存储129
7.2.3Kubernetes容器编排技术130
7.2.4安全与多租户131
7.3系统详细设计132
7.3.1集群基础环境设计132
7.3.2代码与持续集成设计135
7.3.3集群管理与资源配额设计137
7.3.4镜像构建与镜像存储管理设计139
7.3.5应用发布与运行保障设计140
7.4系统实现与部署144
7.4.1测试环境配置144
7.4.2核心功能模块144
7.5面向异构卫星集群协同博弈的应用示例148
7.5.1协同博弈任务背景与问题建模148
7.5.2异构集群节点与功能模块映射149
7.5.3云原生实现与资源调度150
7.5.4数据链路与跨节点通信152
7.5.5实验编排流程与评测指标153
本章小结154
参考文献155