前言iii
1绪论1
1.1 概述1
1.2 人类视觉感知系统2
1.2.1 人类视觉感知系统的生理结构2
1.2.2 视觉感知5
1.3 人类听觉感知系统6
1.3.1 语音听觉器官的生理结构6
1.3.2 听觉感知7
1.4 视听感知系统框架和基本组成8
1.5 本章小结10
参考文献10
2视觉感知与识别人脸识别13
2.1 三维人脸识别问题13
2.2 三维人脸图像的预处理14
2.2.1 三维人脸区域提取14
2.2.2 三维人脸模型姿态匹配对齐17
2.2.3 三维人脸主要器官区域分割20
2.2.4 实验及结果分析22
2.3 三维人脸表面特征描述子26
2.3.1 基于弯曲不变量的三维人脸表面描述子27
2.3.2 基于边界球描述子的三维人脸表征方法28
2.3.3 基于三维尺度不变特征变换的表征方法30
2.3.4 实验及结果分析32
2.4 基于区域稀疏回归模型的三维人脸特征提取算法37
2.4.1 问题的提出37
2.4.2 基于RGSRM的特征提取41
2.4.3 实验及结果分析42
2.5 本章小结47
参考文献47
3视觉感知与识别运动目标分析55
3.1 运动目标分析问题55
3.2 融合深度信息的运动目标检测56
3.2.1 行为视频预处理56
3.2.2 背景差分和帧间差分相结合的人体检测方法57
3.2.3 基于边缘变化率的手部检测61
3.3 基于跟踪学习检测的运动人体跟踪65
3.3.1 跟踪学习检测算法原理65
3.3.2 改进的融合深度信息的TLD72
3.3.2 实验及结果分析73
3.4融合深度信息的运动目标特征描述75
3.4.1 三维移动尺度不变特征描述75
3.4.2 快速移动尺度不变性特征79
3.4.3 融合时空纹理特征的特征描述方法86
3.4 本章小结93
参考文献93
4听觉感知与识别语音识别及评测103
4.1 听觉感知数据的预处理103
4.2听觉感知的特征表示106
4.2.1 线性预测倒谱参数106
4.2.2 美尔频率倒谱系数107
4.2.3 基频提取108
4.3 听觉感知的模型学习109
4.3.1 隐马尔可夫模型109
4.3.2 基于改进的BP人工神经网络的声调感知识别模型112
4.4实时语音识别和发音评测114
4.4.1 基于韵律建模的汉语语音识别115
4.4.2 汉语发音检测116
4.4.3 基于声学和韵律参数的汉语发音评测117
4.4 本章小结120
参考文献120
5视听感知识别技术的应用实例127
5.1 基于语音识别与评测的远程交互学习系统127
5.1.1 系统概述127
5.1.2 虚拟三维游戏设计130
5.2 人体行为分析系统平台的设计与实现134
5.2.1 人体行为分析系统平台的实现135
5.2.2 人体行为识别系统的个性化控制应用场景137
5.2.3 行为分析系统GPU处理的实现140
5.3 基于视觉感知的盲区路况提示系统142
5.3.1 系统总体架构142
5.3.2 系统各模块功能设计143
5.3.3 系统设计规划145
5.3.4 功能实现成果展示148
5.4 基于听觉感知的哼唱音乐检索系统154
5.4 本章小结158
参考文献161