在“视频大数据”时代，利用人工智能技术对视频中的目标行为进行智能识别与分析，可为公共与国防安全、体育与娱乐等领域的诸多应用提供更高层级的技术支持。本书以体育场景为重点，进行案例剖析。研究体育运动中人类活动规律，构造智能系统，可为提高运动员竞技能力、促进大众科学健身提供新的高科技手段，极大提高了体育产业的智能化程度。
本书剖析了主流的视频行为分析技术，基于多个层次对体育视频中个体及群体行为进行理解，重点研究了体育视频中的目标跟踪与行为识别，具体包括单目标跟踪，多目标跟踪，单目标行为识别，群体行为识别等智能视觉任务，涉及关系学习，监督学习，无监督学习等优化方法。本书剖析了体育场景的特殊性，体育目标描述的复杂性，体育群体关系建模的专业性等难题，并提出一系列基于深度模型的解决方法，建立起契合体育场景的、高效鲁棒的目标分析框架，以供广大读者参考。
编辑团队总结了人工智能在视频分析领域的最新成果，在编写过程中参考了大量书籍、文献及手册资料，在此向各位相关作者表示诚挚的感谢。同时，由于作者水平有限，而且智能体育分析技术是一种正在不断发展和完善的技术，本书难以概括全面，敬请读者批评指正。

目录



第1章背景与意义1

第2章国内外研究现状4

2.1行为识别方法4

2.1.1行为识别数据库4

2.1.2传统的行为识别方法5


2.1.3基于深度学习的行为识别方法7


2.2多目标跟踪方法9

2.3群体行为识别方法11

2.3.1群体行为数据库11


2.3.2传统的群体行为识别方法12


2.3.3基于深度学习的群体行为识别方法14


本章小结17

第3章体育视频中运动员协同跟踪和行为识别一体化框架18

3.1引言18

3.2相关工作21

3.2.1目标跟踪21

3.2.2行为识别22

3.3BeaVoll数据库24

3.4尺度遮挡鲁棒的跟踪方法25

3.4.1压缩跟踪26

3.4.2尺度细化26

3.4.3遮挡恢复27

3.5长时间区域导向的递归神经网络29

3.5.1多尺度金字塔卷积神经网络30

3.5.2长短时记忆单元结构31

3.5.3训练和测试31

3.6实验结果与分析32

3.6.1实验细节32

3.6.2在BeaVoll数据库上的实验结果33

3.6.3在UIUC2数据库上的实验结果39

本章小结42

第4章基于长时间动作线索的体育视频中多运动员跟踪方法43

4.1引言43

4.2相关工作45

4.3基于长时间动作依赖的层级深度匹配方法46

4.3.1问题描述47

4.3.2检测框连接代价48

4.3.3孪生跟踪片相似度网络和跟踪片连接代价49

4.4数据库52

4.5实验结果与分析55

4.5.1实验细节55

4.5.2评估指标56

4.5.3结果分析56

本章小结61

基于多层次理解的视频分析技术与应用
｜目录｜

第5章基于注意力机制和上下文建模的体育视频中群体行为识别方法62

5.1引言62

5.2基于注意力机制和上下文建模的群体行为识别方法66

5.2.1注意力机制的LSTM网络结构66

5.2.2层级注意力网络67

5.2.3层级上下文网络69

5.3实验结果与分析70

5.3.1实验细节70

5.3.2基准方法71

5.3.3在Collective Activity 数据库上的实验结果71

5.3.4在Volleyball数据库上的实验结果73

本章小结74

第6章面向复杂语义自适应建模的群体战术识别方法75

6.1引言75

6.2复杂语义自适应建模的群体战术识别方法77

6.2.1自适应的图卷积神经网络78

6.2.2注意力时序卷积网络81

6.3实验结果与分析82

6.3.1实验细节82

6.3.2消融实验82

6.3.3与其他先进方法的比较84

本章小结86

第7章基于多尺度交叉距离Transformer模型的群体行为识别方法87

7.1相关工作89

7.2基于多尺度交叉距离Transformer模型的群体行为识别方法90

7.2.1方法概览90

7.2.2跨距离注意力块92

7.2.3层次结构93

7.2.4多尺度重构学习94

7.3实验结果与分析95

7.3.1数据库95

7.3.2实验细节95

7.3.3消融实验96

7.3.4与其他先进方法的比较99


本章小结102

第8章基于长短状态预测Transformer的群体表征自学习方法103

8.1引言103

8.2相关工作105

8.2.1自监督学习105

8.2.2行为预测106

8.3基于长短状态预测Transformer的群体表征自学习方法107

8.3.1概览107

8.3.2长短状态编码器109

8.3.3长短状态解码器111

8.3.4联合学习机制112

8.4实验结果与分析114

8.4.1数据库114

8.4.2实验细节115

8.4.3消融实验115

8.4.4与其他先进方法的比较118

本章小结122

第9章基于上下文关系预测编码的群体行为表征自学习方法123

9.1引言123

9.2基于上下文关系预测编码的群体行为表征自学习方法125

9.2.1概述125

9.2.2群体标记生成器126

9.2.3串并行Transformer编码器126

9.2.4混合上下文Transformer解码器128

9.2.5联合损失129

9.3实验结果与分析130

9.3.1数据库131

9.3.2实验细节132

9.3.3与其他先进方法的比较133

9.3.4消融实验136

本章小结141

第10章总结与展望142

参考文献144