内容简介
强化学习是机器学习领域的一种重要学习手段，是一种从环境状态到行为映射的学习方式，是实现智能系统具有自适应能力、自学习能力的重要途径。本书以强化学习算法与多机器人系统的结合为主要背景，介绍了主要的强化学习算法模型，讨论了它们的原理和优缺点；本书针对多机器人协作，从实际应用问题的角度分析，指出了局部性、不确定性和自组织网络等在学习中的现实意义；本书针对强化学习存在的学习速度慢、计算复杂度高等问题，研究了几种改进算法，并基于MATLAB设计了机器人仿真工具箱，以机器人路径规划与覆盖问题为背景进行了仿真研究。
本书可作为高等院校人工智能、自动化、计算机等相关专业的科研工作者及硕士、博士研究生的参考用书。
目录介绍
目录
第1章绪论
1.1研究背景与意义
1.2机器学习算法
1.3多机器人的协调与协作
1.4不确定环境下的多机器人系统
本章参考文献
第2章多机器人协作与强化学习模型
2.1引言
2.2强化学习原理
2.2.1强化学习结构
2.2.2Monte Carlo 算法
2.2.3瞬时差分法
2.2.4Q学习
2.2.5Sarsa算法
2.2.6ActorCritic 学习算法
2.2.7R学习算法
2.3分布式强化学习模型
2.3.1分布式强化学习模型
2.3.2研究现况及存在的问题
2.4多机器人决策模型
2.4.1马尔可夫模型
2.4.2分布式马尔可夫模型
2.4.3局部可观测的马尔可夫模型
2.4.4分布式局部可观测的马尔可夫模型
2.4.5研究现状与存在的问题
2.5多机器人一致性模型
2.5.1图论
2.5.2矩阵论
2.5.3Gossip一致性算法
2.5.4离散一致性算法
2.6强化学习存在问题及改进分析
2.6.1盲目搜索方式与启发式搜索方式分析
2.6.2启发式强化学习分析
2.6.3迁移强化学习分析
2.6.4事件驱动与机器学习的结合问题分析
2.7本章小结
本章参考文献
第3章基于一致性的多机器人强化学习研究
3.1引言
3.2基于一致性的DECPOMDP强化学习框架
3.2.1强化学习中的局部观测性和不确定性
3.2.2分布式多机器人强化学习模型
3.2.3多机器人强化学习一致性设计方案
3.3基于一致性的多机器人强化学习算法
3.3.1基于一致性的多机器人强化学习算法
3.3.2基于一致性的策略化简
3.4收敛性分析
3.5仿真实验
3.6本章小结
本章参考文献
第4章基于事件驱动的多机器人强化学习研究
4.1引言
4.2事件驱动原理
4.3强化学习的事件驱动模型与触发规则设计
4.3.1基于事件驱动的强化学习模型
4.3.2触发规则设计
4.4基于事件驱动的强化学习
4.4.1基于事件驱动的强化学习设计
4.4.2计算资源消耗分析
4.4.3算法收敛性分析
4.5仿真实验
4.6本章小结
本章参考文献
第5章基于事件驱动的启发式强化学习研究
5.1引言
5.2启发式加速强化学习方法
5.2.1启发式加速Q学习
5.2.2基于状态回溯代价分析启发式Q学习
5.2.3基于Case Based Reasoning的多机器人启发式加速Q学习
5.3基于事件驱动的启发式Q学习设计
5.3.1基于事件驱动的HAQL算法
5.3.2基于事件驱动的HASBQL算法
5.3.3基于事件驱动的CBHAQL算法
5.4本章小结
本章参考文献
第6章基于启发式强化学习的多机器人覆盖问题研究
6.1引言
6.2基于HAQL的多机器人覆盖算法设计
6.2.1启发式加速Q学习机制
6.2.2事件驱动机制
6.2.3覆盖算法设计
6.2.4单机器人覆盖仿真实验与分析
6.2.5多机器人覆盖仿真实验与分析
6.3基于HASBQL的多机器人覆盖算法设计
6.3.1状态回溯代价分析的强化学习机制
6.3.2触发函数设计
6.3.3覆盖算法设计
6.3.4单机器人覆盖仿真实验与分析
6.3.5多机器人覆盖仿真实验与分析
6.4基于CBHAQL的多机器人覆盖算法设计
6.4.1案例推理的启发式学习机制
6.4.2触发函数机制
6.4.3覆盖算法设计
6.4.4单机器人覆盖仿真实验
6.4.5多机器人覆盖算法设计
6.5本章小结
本章参考文献
第7章基于强化学习算法的地空异构多机器人覆盖研究
7.1引言
7.2地空异构多机器人模型设计
7.2.1环境地图模型搭建
7.2.2运动学模型搭建
7.2.3无人驾驶地面小车的观测模型设计
7.2.4无人飞行器观测模型及通信模型设计
7.3多机器人覆盖模型搭建
7.3.1基于POMDP的覆盖模型搭
7.3.2基于POMDP的覆盖仿真实验
7.3.3基于DECPOMDP的覆盖模型搭建
7.3.4基于DECPOMDP的覆盖仿真实验
7.4地空异构多机器人覆盖算法研究
7.4.1异构多机器人覆盖分析
7.4.2基于强化学习的异构多机器人覆盖算法
7.4.3忽略通信代价的地空多机器人覆盖
7.4.4考虑通信策略的地空多机器人覆盖
7.5本章小结
本章参考文献
第8章基于强化学习的机器人路径规划研究
8.1引言
8.2基于近似动作空间模型强化学习的移动机器人动态路径规划
8.2.1动作选择策略分析
8.2.2基于近似动作模型策略选择的Q学习算法设计
8.2.3仿真结果与分析
8.3基于分层强化学习的移动机器人动态路径规划
8.3.1分层强化学习结构设计
8.3.2移动机器人运动学模型
8.3.3环境信息的获取
8.3.4静态避障模块设计
8.3.5动态避障模块设计
8.3.6仿真实验及结果分析
8.4硬件平台搭建与实验
8.4.1机器人硬件平台搭建
8.4.2机器人软件系统搭建
8.4.3基于ROS与Gazebo的机器人仿真
8.4.4实验结果与分析
8.5本章小结
本章参考文献
第9章多机器人强化学习工具箱设计
9.1引言
9.2多机器人工具箱模块设计
9.2.1多机器人模块设计
9.2.2地图环境模块设计
9.3强化学习函数模块设计
9.3.1强化学习模块设计
9.3.2持久层模块设计
9.3.3仿真场景模块设计
9.4工具类函数设计
9.4.1公用工具类函数库设计
9.4.2可视化界面设计
9.5本章小结
本章参考文献
第10章多机器人移动自组织网络研究
10.1引言
10.2自组织网络原理
10.2.1自组织网络
10.2.2Ad hoc网络基本结构
10.2.3Ad hoc网络协议的分类
10.2.4先验式路由协议与反应式路由协议
10.2.5链路状态路由协议和距离矢量路由协议
10.2.6Linux系统协议体系
10.2.7IPv4
10.3自组织网络系统的软硬件设计
10.3.1硬件设计
10.3.2软件搭载与设计
10.3.3大规模数据统计处理程序设计
10.3.4ifstat流量监测
10.4移动机器人自组织网络系统的软硬件实现
10.4.1协议实现的可能性和基础框架
10.4.2OLSR协议的原理
10.4.3OLSR协议的实现
10.4.4AODV协议的原理
10.4.5AODV协议的实现
10.5实验结果及分析
10.5.1实验设计策略和相关标准
10.5.2协议性能验证性实验
10.5.3AODV协议在不同功能参数配置下的表现
10.5.4动态拓扑下性能实验
10.5.5稳定拓扑下的网络吞吐量实验
10.6本章小结
本章参考文献