本书主要研究了表情识别系统基本理论、算法设计和应用。书中分别以动态人脸表情、微表情、鲁棒表情为识别对象, 系统介绍了相关特征提取、分类算法的技术方法, 并设计了一套主动视觉人脸跟踪与表情识别系统。
本书可供从事模式识别、表情识别、人脸识别系统研究的科研人员、相关专业的研究生或高年级本科学生使用。

让机器看懂你的眼神 为读者提供一本反映当前表情识别系统发展水平的专业参考书籍。

第1 章　绪论　/ 1
　1.1　人脸表情识别系统概述　/ 1
　1.2　基于动态图像序列的人脸表情识别的研究情况　/ 2
　1.3　微表情识别的研究情况　/ 4
　　1.3.1　微表情识别的应用研究　/ 4
　　1.3.2　微表情表达的研究　/ 4
　　1.3.3　微表情识别的算法研究　/ 4
　　1.3.4　微表情数据库的研究　/ 5
　1.4　鲁棒性人脸表情识别的研究情况　/ 6
　　1.4.1　面部有遮挡的表情识别研究现状　/ 7
　　1.4.2　非均匀光照下的表情识别研究现状　/ 7
　　1.4.3　与视角无关的表情识别研究现状　/ 8
　1.5　人脸表情识别相关资料汇总　/ 8
　参考文献　/ 8

第2 章　人脸检测与定位　/ 9
　2.1　概述　/ 9
　2.2　基于肤色分割和模板匹配算法的快速人脸检测　/ 10
　　2.2.1　基于彩色信息的图像分割　/ 10
　　2.2.2　自适应模板匹配　/ 12
　　2.2.3　仿真实验及结果分析　/ 14
　2.3　改进Adaboost 算法的人脸检测　/ 15
　　2.3.1　由扩展的Haar-like 特征生成弱分类器　/ 16
　　2.3.2　Adaboost 算法生成强分类器　/ 16
　　2.3.3　级联分类器的生成　/ 18
　　2.3.4　极端学习机　/ 20
　　2.3.5　仿真实验及结果分析　/ 22
　参考文献　/ 25

第3 章　基于Candide3 模型的人脸表情跟踪及动态特征提取　/ 26
　3.1　概述　/ 26
　3.2　基于Candide3 人脸模型的跟踪算法研究　/ 26
　　3.2.1　Candide3 人脸模型的研究　/ 26
　　3.2.2　基于Candide3 模型的跟踪算法研究　/ 28
　3.3　跟踪算法改进　/ 33
　　3.3.1　光照处理　/ 33
　　3.3.2　基于在线表观模型的跟踪算法　/ 34
　　3.3.3　模型的自动初始化研究　/ 34
　　3.3.4　改进算法后跟踪实验　/ 36
　3.4　动态特征提取　/ 37
　　3.4.1　特征点的跟踪　/ 37
　　3.4.2　动态特征提取　/ 38
　　3.4.3　基于k 均值的聚类分析　/ 39
　参考文献　/ 42

第4 章　表情分类的实现　/ 44
　4.1　概述　/ 44
　4.2　K 近邻分类器　/ 44
　　4.2.1　K 近邻规则　/ 44
　　4.2.2　K 近邻分类的距离度量　/ 44
　　4.2.3　基于K 近邻分类器的分类实验　/ 45
　4.3　流形学习　/ 46
　　4.3.1　主成分分析（PCA）　/ 47
　　4.3.2　拉普拉斯映射（LE）　/ 47
　　4.3.3　基于流形学习的降维分类实验　/ 48
　4.4　支持向量机　/ 51
　　4.4.1　支持向量机的基本思想　/ 51
　　4.4.2　非线性支持向量机　/ 52
　　4.4.3　基于支持向量机的分类实验　/ 52
　4.5　基于Adaboost 的分类研究　/ 53
　　4.5.1　Adaboost 算法　/ 53
　　4.5.2　基于Adaboost 的分类实验　/ 54
　参考文献　/ 55

第5 章　人脸动态序列图像表情特征提取　/ 56
　5.1　概述　/ 56
　5.2　基于主动外观模型的运动特征提取　/ 56
　　5.2.1　主动形状模型　/ 56
　　5.2.2　几何特征提取　/ 57
　5.3　基于Candide3 三维人脸模型的动态特征提取　/ 59
　　5.3.1　Candide3 三维人脸模型　/ 59
　　5.3.2　提取表情运动参数特征　/ 59
　5.4　动态时间规整（DTW）　/ 61
　5.5　特征选择　/ 64
　　5.5.1　基于Fisher 准则的特征选择　/ 64
　　5.5.2　基于分布估计算法的特征选择　/ 65
　5.6　仿真实验及结果分析　/ 67
　　5.6.1　基于主动外观模型的运动特征提取　/ 67
　　5.6.2　基于Candide3 模型的动态特征提取　/ 69
　参考文献　/ 72

第6 章　基于子空间分析和改进最近邻分类的表情识别　/ 74
　6.1　概述　/ 74
　6.2　特征降维　/ 74
　　6.2.1　非线性流形学习方法　/ 74
　　6.2.2　线性子空间方法　/ 76
　6.3　改进最近邻分类法　/ 81
　6.4　仿真实验及结果分析　/ 84
　参考文献　/ 85

第7 章　微表情序列图像预处理　/ 86
　7.1　概述　/ 86
　7.2　灰度归一化　/ 86
　7.3　尺度归一化　/ 88
　7.4　序列长度归一化　/ 89
　　7.4.1　时间插值法原理　/ 90
　　7.4.2　时间插值法建模　/ 91
　　7.4.3　时间插值法实现　/ 93
　参考文献　/ 95

第8 章　基于多尺度LBP-TOP 的微表情特征提取　/ 97
　8.1　概述　/ 97
　8.2　多尺度分析　/ 97
　　8.2.1　平滑滤波　/ 97
　　8.2.2　高斯微分　/ 99
　8.3　局部二值模式　/ 101
　　8.3.1　原始LBP　/ 101
　　8.3.2　改进LBP　/ 102
　　8.3.3　降维　/ 103
　　8.3.4　静态特征统计　/ 105
　8.4　时空局部二值模式　/ 106
　　8.4.1　LBP-TOP　/ 107
　　8.4.2　动态特征统计　/ 109
　8.5　多尺度LBP-TOP　/ 112
　参考文献　/ 114

第9 章　基于全局光流与LBP-TOP 特征结合的微表情特征提取　/ 115
　9.1　概述　/ 115
　9.2　相关理论　/ 115
　　9.2.1　运动场及光流场　/ 115
　　9.2.2　经典计算方法　/ 116
　9.3　问题描述　/ 117
　　9.3.1　约束条件　/ 117
　　9.3.2　模型构建　/ 119
　9.4　算法实现　/ 120
　　9.4.1　目标优化　/ 120
　　9.4.2　多分辨率策略　/ 122
　　9.4.3　特征统计　/ 124
　9.5　光流与LBP-TOP 特征结合　/ 128
　参考文献　/ 129

第10 章　人脸微表情分类器设计及实验分析　/ 131
　10.1　概述　/ 131
　10.2　支持向量机　/ 131
　　10.2.1　分类原理　/ 131
　　10.2.2　样本空间　/ 132
　　10.2.3　模型参数优化　/ 135
　10.3　随机森林　/ 136
　　10.3.1　集成学习　/ 137
　　10.3.2　决策树　/ 137
　　10.3.3　组合分类模型　/ 139
　10.4　评价准则　/ 141
　10.5　实验对比验证　/ 143
　　10.5.1　识别LBP-TOP 特征　/ 143
　　10.5.2　识别GDLBP-TOP 特征　/ 146
　　10.5.3　识别OF 特征　/ 147
　　10.5.4　识别LBP-TOP＋OF 特征　/ 149
　参考文献　/ 153

第11 章　基于Gabor 多方向特征融合与分块直方图的表情特征提取　/ 155
　11.1　概述　/ 155
　11.2　人脸表情图像的Gabor 特征表征　/ 156
　　11.2.1　二维Gabor 滤波器　/ 156
　　11.2.2　人脸表情图像的Gabor 特征表征　/ 157
　11.3　二维Gabor 小波多方向特征融合　/ 159
　　11.3.1　融合规则1　/ 159
　　11.3.2　融合规则2　/ 160
　11.4　分块直方图特征选择　/ 161
　11.5　基于Gabor 特征融合与分块直方图统计的特征提取　/ 162
　11.6　算法可行性分析　/ 163
　11.7　实验描述及结果分析　/ 164
　　11.7.1　实验流程　/ 164
　　11.7.2　表情图库中图像预处理　/ 165
　　11.7.3　实验描述　/ 166
　　11.7.4　实验结果分析　/ 167
　　11.7.5　所选融合特征的尺度分析　/ 169
　参考文献　/ 170

第12 章　基于对称双线性模型的光照鲁棒性人脸表情分析　/ 172
　12.1　概述　/ 172
　12.2　双线性模型　/ 174
　12.3　基于对称双线性变换的表情图像处理　/ 175
　12.4　光照变换　/ 178
　12.5　实验描述及结果分析　/ 181
　　12.5.1　实验描述　/ 181
　　12.5.2　实验对比　/ 182
　参考文献　/ 185

第13 章　基于局部特征径向编码的局部遮挡表情特征提取　/ 187
　13.1　概述　/ 187
　13.2　表情图像预处理　/ 188
　13.3　局部特征提取与表征　/ 190
　13.4　Gabor 特征径向编码　/ 190
　13.5　算法可行性分析　/ 193
　13.6　实验描述及结果分析　/ 193
　　13.6.1　局部子块数对识别结果的影响　/ 195
　　13.6.2　径向网格尺寸对识别结果的影响　/ 195
　　13.6.3　左/右人脸区域遮挡对识别结果的影响　/ 196
　　13.6.4　不同局部特征编码方法的实验对比分析　/ 196
　　13.6.5　遮挡对于表情识别的影响　/ 197
　参考文献　/ 198

第14 章　局部累加核支持向量机分类器　/ 201
　14.1　概述　/ 201
　14.2　支持向量机基本理论　/ 202
　　14.2.1　广义最优分类面　/ 202
　　14.2.2　线性分类问题　/ 203
　　14.2.3　支持向量机　/ 205
　　14.2.4　核函数　/ 206
　14.3　局部径向基累加核支持向量机　/ 206
　14.4　局部归一化线性累加核支持向量机　/ 207
　14.5　实验描述及结果分析　/ 209
　　14.5.1　实验描述　/ 209
　　14.5.2　对比实验　/ 210
　参考文献　/ 213

第15 章　基于主动视觉的人脸跟踪与表情识别系统　/ 214
　15.1　概述　/ 214
　15.2　系统架构　/ 214
　　15.2.1　硬件设计　/ 214
　　15.2.2　交互界面的设计　/ 217
　15.3　相关算法　/ 218
　　15.3.1　云台跟踪算法　/ 218
　　15.3.2　表情识别算法　/ 220
　15.4　仿真实验及结果分析　/ 221
　　15.4.1　人脸定位跟踪实验　/ 221
　　15.4.2　人脸表情识别实验　/ 224
　参考文献　/ 227

索引　/ 229