典型相关分析融合LBP和HOG特征的人脸年龄估计

您所在的位置:网站首页 hog特征提取出来的是什么 典型相关分析融合LBP和HOG特征的人脸年龄估计

典型相关分析融合LBP和HOG特征的人脸年龄估计

#典型相关分析融合LBP和HOG特征的人脸年龄估计| 来源: 网络整理| 查看: 265

对于人脸图像,人类能轻松地获取蕴藏其中的各种信息,如身份、性别、种族、大致的年龄及表情等。而让计算机也能达到人类对人脸的认知程度是相当困难的,尤其是对人脸年龄的自动估计,原因在于相对于其他的面部变化,年龄变化有其自身独特的性质。首先,人的年龄是不可控的,无法任意提前或延迟,是一个缓慢而不可逆的过程;其次,年龄对于不同人有着不同的变化模式,这不仅由内在的因素,如基因,种族等所决定,还受到诸如健康状况,生活方式,气候条件等外部条件的影响。年龄变化的上述特性不仅使得收集足够的带年龄信息的训练数据变得极其困难,而且也很难找到准确的刻画年龄变化的特征。但年龄估计及有年龄变化的人脸识别有着极其广泛的应用,因而寻求这类问题的解决方法也越发显得的重要。人脸图像中包含着年龄信息,但也有大量信息表达的是数据采集时的光照情况,人的表情和姿势等,这些信息不仅和年龄无关,还会对年龄的估计造成干扰,如何从人脸中提取能刻画年龄的特征,成为问题解决的关键。目前采用的人脸年龄估计的方法大致可以分为4类:

人体测量模式[1],通过对人脸外形及纹理模式的变化的测量,将人脸大致分类成几个年龄段,但不适合更为精细年龄划分的估计。

年龄变化模式子空间[2-3],收集测试对象的不同年龄阶段的人脸图像,需要确切知道训练集中每张人脸图像的身份信息,在许多实际应用中人脸的身份信息是不完备的,缺乏现实应用性。

年龄变化流行分析方法[4-5],通过流行学习算法模式化一个年龄变化的流行空间,在此流行中求一个低维特征的子流行作为训练样本的年龄变化结构的特征描述,能有效揭示人脸图像的流行结构特征,但仍然需要通过学习建立人脸年龄变化信息和低维特征之间的关系。

年龄回归方法[6-8],年龄回归方法将年龄估计视为多线性回归问题,目的是寻找合适的回归函数,以此描述人脸图像和年龄估计间的联系。该方法因简单高效,被许多人脸年龄估计系统所采纳。

笔者建议的梯度直方图(HOG)及局部二值化模式(LBP)都是人脸的灰度值差分后的统计特征描述子,具有光照和旋转不变性的优势,有效地抑制图像背景信息对年龄估计的干扰。HOG和LBP直方图分别从纹理均匀一致性及人脸灰度值的梯度方向直方图表示人脸的年龄变化特征,对于人脸年龄变化的信息互相提供了有益的补充。鉴于将人脸的外形特征[9]和纹理特征融合被[8]证明更能刻画人类年龄。利用典型相关分析(CCA)[10]方法融合局部二进制模式(LBP)直方图和梯度直方图(HOG)作为人脸的特征描述子,用支持向量机回归(SVR)结合留一交叉验证法(LOPO)的策略对塞浦路斯大学的人脸年龄库FG-NET[11]行训练和测试,取得较为满意的效果。

1 特征提取

选择人脸图像的LBP和HOG特征描述开始,然后用PCA进行特征的提取,将提取的特征融合,最后选取分类器学习出年龄回归模式,并用该模式进行年龄的预测。流程图 1,展示了该方法对人脸年龄估计的过程。

图 1(Figure 1) 图 1 年龄估计方法流程图

年龄变化特征提取,图像特征选取的一般原则是同类的图像差异较小(较小的类内距),不同类的图像之间有较大的差异(较大的类间距),即最具有区分力的特征。同时尽量减小特征提取的计算复杂度。随着年龄的增长,人脸变化最为突出的体现在局部区域,如眼角,嘴角等,局部二值模式(LBP)和梯度方向直方图(HOG)都是对与年龄变化密切相关的人脸图像灰度值差分统计。Déniz等[12]表明对人脸局部特征刻画非常有效,不仅有着光照及旋转不变性的优良特质,特征的提取的算法复杂度也较小。将人脸图像归一化成80×64的灰度图像,并划分成包含80个8×8窗口的网格,然后对每个小窗口提取LBP和HOG的直方图,最后将直方图分别连接起来形成直方图序列,作为人脸的LBP特征向量和HOG特征向量。

1.1 局部二值模式(LBP)

LBP算子将人脸图像中的每个像素按3×3的领域像素相对中心像素的中心灰度值作二值化运算:每个像素以其灰度值fc为阈值,若周围像素灰度值fp大于或等于该灰度值,则将该点设成1,否则为0。对其8邻域进行0/1编码,得到一个长度为8的二进制串,用该二进制串作为该像素的编码,如式(1)

$ {\rm{LP}}{{\rm{B}}_{\mathit{P, R}}} = \sum\limits_{p = 0}^{P - 1} {s\left( {{f_p} - {f_c}} \right) \cdot {2^p}}, $ (1)

其中:$s\left({{f_p} -{f_c}} \right) = \left\{ \begin{array}{l} 1\; \; {f_c} \ge {f_p}\\ 0\; \; {f_c} < {f_p} \end{array} \right.$,fc:中心像素的灰度值,fp(p=0,1,2,…,N):中心像素领域像素采样点灰度值。领域内的每个采样点按照不同的权系数2p赋值采样点,最后求和。图 3展示了LBP特征提取过程。并按顺序逆时针旋转p次,以最小值为中心像素最终的LBP值确保旋转不变。如式(2)所示

$ \begin{array}{l} {\rm{LPB}}_{_{\mathit{P, R}}}^{ri} = \left. {\min \{ {\rm{ROR}}\left( {{\rm{LB}}{{\rm{P}}_{\mathit{P, R}}}, \mathit{i}} \right)} \right|\\ \;\;\;\;\;\;\;\;\mathit{i = }{\rm{0}}\mathit{, }{\rm{1}}\mathit{, } \cdots \mathit{, P}{\rm{ - 1}}\} \end{array}。$ (2) 图 3(Figure 3) 图 3 HOG直方图序列提取过程

LBP特征用于人脸年龄估计,如图 2所示的网格人脸灰度图,对这80个小区域分别进行LBP特征的提取,并计算每个区域的直方图,最后将所有区域的直方图连接起来作为人脸的表示。Ojala等[13]证明一致模式能表达大部分的纹理信息,并有较好的分类性。采用均匀一致模式LBPP,Rriu2,其中P=8,R=1,u2指的是均匀一致模式,即,不允许二进制编码中0,1的跳变次数超过2次,如式(3)所示,LBPP,Rriu2模式局部区域直方图向量长度为59。

$ \theta \left( {x, y} \right) = \tan - 1\left. {\left( {I\left( {\mathit{x}, \mathit{y} + 1} \right){\rm{ - }}\mathit{I}\left( {x, y - 1} \right)} \right)/(\mathit{I}\left( {x + 1, y} \right) - I\left( {x - 1, y} \right)} \right), $ (3) $ m\left( {x, y} \right) = \sqrt {{{\left. {{{\left( {I\left( {\mathit{x}, \mathit{y} + 1} \right){\rm{ - }}\mathit{I}\left( {x, y - 1} \right)} \right)}^2}+(\mathit{I}\left( {x + 1, y} \right) - I\left( {x - 1, y} \right)} \right)}^2}}, $ (4) 图 2(Figure 2) 图 2 LBP算子提取过程 1.2 梯度直方图(HOG)算法

HOG特征用于人脸年龄估计源于Déniz等[12]人将HOG特征成功用于人脸识别,HOG描述子是Lower的尺度不变特征变换(SIFT)算法的第三步。HOG描述子首先确定一个以关键点为中心的领域作为采样窗口,以8×8的像素领域(block)作为关键点的采样窗口为例。首先将采样窗口均分为4个相等大小的块(以下都称为块或者cell),每个块大小是4×4;再用式(3)、(4)分别计算每个小块上每个像素的梯度方向和梯度幅值,如图 5左部分所示,箭头代表梯度的方向。

图 5(Figure 5) 图 5 年龄回归函数算法流程图

其中I(x,y)为像素点(x,y)上的灰度值,θ(x,y)为像素点(x,y)上的梯度方向,m(x,y)为(x,y)上的梯度幅值。按图 3方法将人脸所有像素作为关键点,梯度方向选择无符号180° 9个方向,每个窗口(4个小格)有36维的直方图向量,整个人脸HOG特征直方图序列长度为80×36。

1.3 年龄变化特征提取

研究方法的工作步骤图 4所示及回归函数算法流程如图 5所示。

图 4(Figure 4) 图 4 研究方法年龄估计实现流程图 1.4 特征融合

典型相关性分析是一种统计两种随机变量之间关系的一种方法。假设向量空间X=[x1,x2,…,xn],xi∈Rm和Y=[y1,y2,…,yn],yi∈Rn分别表示人脸图像的LBP特征和HOG特征。CCA的目的就是找到一对投影轴,wx和wy,使得线性组合α=wxTx和β=wyTx之间的相关度最大,关联系数Corr(α,β)由判别准则如式(5)确定

$ {\rm{Corr}}\left( {\alpha, \beta } \right) = \mathop {\max }\limits_{{\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{x}}}, {\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{y}}}} \frac{{\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{x}}^{\rm{T}}{\mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{xy}}}}{\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{y}}}}}{{\sqrt {\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{x}}^{\rm{T}}\mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{xx}}}^{\rm{T}} \cdot {\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{y}}}{\mathit{\boldsymbol{C}}_{\mathit{\boldsymbol{yy}}}}{\mathit{\boldsymbol{w}}_\mathit{\boldsymbol{y}}}} }}, $ (5)

其中:Cxy=E[xT y],XY间互协方差矩阵,Cxx=E[xT x],X的协方差矩阵,Cyy=E[yT y],Y的协方差矩阵。通过求解形如式(6)的特征方程,可以轻松获得CCA的这组投影轴。

$ \left[\begin{array}{l} \;\;0\;\;\;\;\;\;\;\;\mathit{\boldsymbol{X}}{\mathit{\boldsymbol{Y}}^{\rm{T}}}\\ \mathit{\boldsymbol{Y}}{\mathit{\boldsymbol{X}}^{\rm{T}}}\;\;\;\;\;\;\;0 \end{array} \right]\;\left[\begin{array}{l} {\mathit{\boldsymbol{w}}_x}\\ {\mathit{\boldsymbol{w}}_y} \end{array} \right] = \lambda \left[\begin{array}{l} \mathit{\boldsymbol{X}}{\mathit{\boldsymbol{X}}^{\rm{T}}}\;\;\;\;0\\ 0\;\;\;\;\;\;\;\;\mathit{\boldsymbol{Y}}{\mathit{\boldsymbol{Y}}^{\rm{T}}} \end{array} \right]\;\left[\begin{array}{l} {\mathit{\boldsymbol{w}}_x}\\ {\mathit{\boldsymbol{w}}_y} \end{array} \right], $ (6)

其中λ就是Corr(α,β),α和β的相关系。

2 年龄回归

假设T=[t1,t2,…,tN]和L=[l1,l2,…,lN]分别表示人脸年龄变化特征训练集及其对应的年龄标签,其中ti∈Rd,li∈R,i=1,2,…,N,d为人脸年龄变化的特征维数,N为训练集的总数。回归函数${\hat l_i}$=f(ti)由某种学习方法从训练集中获得,用以表示年龄和特征之间的对应关系。支持向量机的支持向量回归结合留一交叉法的策略确定年龄回归函数。支持向量机回归(support vector machines regression,SVR),支持向量机是一种机器学习的方法,机器学习的目的是对未知数据进行预测和分析,其前提是在研究的数据(训练样本)中同类数据(具有某种共同性质的数据)具有一定的统计规律性。但在很多实际的应用中统计规律性很难,甚至无法得到具体的概率分布函数或概率分布密度函数,但通过某种学习方法直接得到分类方法,并可以对预测数据进行分类,标注等,支持向量机就是通过对训练样本的学习获得分类超平面将不同类别的数据分隔开来。其核心为分类间隔最大化和核函数技巧。间隔最大化即使分类超平面最优,式(7)为一广义最优分类面的定义如下:其中w为最优分类面的法向量,ξi≥0表示第i个样本的松弛变量,错分样本(离群点)的松弛变量大于零,为该样本到其正确分类面的距离。C为惩罚系数,即离群点的权重。

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\mathop {\min }\limits_{w, b, \xi } \frac{1}{2}{\left\| \mathit{\boldsymbol{w}} \right\|^2} + C\sum\limits_{i = 1}^N {{\xi _i}}, \\ {\rm{s}}.\;\;{\rm{t}}.\;\;{{\boldsymbol{y}}_i}\left[{\left( {\mathit{\boldsymbol{w}} \cdot {\mathit{x}_\mathit{i}}} \right) + b} \right] = 1 - {\xi _i}i = 1, 2, \cdots, N。\end{array} $ (7)

而核技巧则是用核函数将输入空间中的样本经过非线性变换映射到高维空间中实现线性分类,且不增加计算复杂度。采用径向基函数作为核函数

$ K\left( {\mathit{\boldsymbol{x}}, z} \right) - \exp \left( { - {\rm{gmma}}{{\left\| {\mathit{\boldsymbol{x}} - z} \right\|}^2}} \right)。$ (8)

其中,gmma=1/2σ2;支持向量机遵循机器学习的一般规律,即选择模型(决策函数集合),确定策略(最优决策函数得准则),利用交叉验证的方法选择式(7)中C惩罚参数及式(8)中gmma数值确定回归函数,age=f(x)。

3 仿真实验结果

笔者采用2种较为流行的评估方法,绝对错误均值(MAE)及累计误差尺度(CS)。绝对错误均值指的是年龄估计值和实际年龄间错误绝对值与测试样本数的比值,如公式(9)

$ {\rm{MAE = }}\sum\limits_{i = 1}^{{N_t}} {\left| {{{\hat A}_i} - {A_i}} \right|} /{N_t}, $ (9)

其中${\hat A_i}$和Ai分别表示第i个测试样本的年龄估计值和年龄真实值,Nt为测试的样本数。累计尺度(CS),在指的都是估计年龄的错误范围从0~10岁的累计尺度

$ {\rm{CumScore}}\left( \theta \right) = {N_{e \le \theta }}/{N_t} \times 100\% ,$ (10)

其中Ne≤θ表示估计年龄绝对误差小于θ的测试样本的总数。

实验所用人脸数据库FG-NET包含82个人的1 002张年龄范围在0~69岁的照片,且照片的光照条件、表情及姿势都有很大的差异研究方法未做灰度均衡,及人脸做矫正的预处理,以验证算法对复杂人脸的有效性。实验对CCA融合的特征,仅HOG特征,仅LBP特征、PCA直接融合(DCPCA)及LDA直接融合(DCLDA)的实验结果作了对比,表 2列出了几种方法在数个年龄段中的MAE值;图 6显示了绝对误差从0~10岁的累计尺度。支持向量机回归SVR的参数选择使用台湾大学林智仁等制作的LIBSVM软件包中的方法,获取不同特征对应的回归模式参数如表 1。

表 2(Table 2) 表 2 比较选取不同特征年龄估计的均值绝对误差 年龄范围 特征类型选择 LBP HOG DCPCA DCLDA CCA 0~4 7.151 2 7.164 6 6.269 9 6.360 1 5.595 1 5~9 5.296 2 4.897 8 5.061 0 4.543 9 4.111 9 10~14 4.733 4 4.541 6 4.609 6 4.318 8 3.902 7 15~19 5.005 0 4.995 4 4.946 2 4.507 6 4.625 8 20~24 5.324 8 6.832 2 5.925 3 5.869 4 7.050 5 24~29 7.464 6 8.207 2 9.205 6 7.888 0 7.699 5 30~34 10.570 5 10.304 6 11.465 6 12.343 6 10.844 0 35~39 13.658 7 13.897 7 14.809 0 15.120 4 15.021 8 40~44 17.859 4 18.049 4 19.344 4 18.726 1 17.082 7 44~49 22.329 5 24.275 2 22.098 2 22.193 8 22.552 3 50~54 21.770 1 26.254 7 23.180 9 24.233 5 27.603 4 55~59 26.404 3 27.191 45 30.980 4 26.873 7 25.920 4 60~64 32.801 1 34.919 53 39.182 2 37.668 1 35.734 6 65~69 24.981 5 36.374 10 31.150 1 32.297 1 37.396 8 (0~69)均值 7.424 6 7.241 8 7.197 6 6.970 3 6.968 0 表 2 比较选取不同特征年龄估计的均值绝对误差 图 6(Figure 6) 图 6 研究方法FG-NET的误差等级从0~10岁的年龄估计的累积误差 表 1(Table 1) 表 1 训练集在交叉留一测试下支持向量机回归参数 特征种类 回归参数 C惩罚参数 Gmma参数 P参数数 HOG特征 29.110 4 0.084 6 0.012 7 LBP特征 32.398 6 0.228 21 0.999 05 融合PCA 37.268 7 0.091 3 0.999 9 融合LDA 9.878 3 0.224 9 0.490 22 融合CCA 35.440 6 20.500 0 0.998 9 表 1 训练集在交叉留一测试下支持向量机回归参数

其中,C表示对误差的宽容度(值越大越不能容忍);Gmma=-1/2σ2, σ2为核函数的方差;P为损失函数参数。

对实验结果的观测可以得出下面3个判断:

1) 对于复杂环境的人脸图像,在不进行灰度均衡、面部矫正等预处理的前提下,采用LBP和HOG特征的人脸分析方法对人脸年龄估计有效。

2) 融合人脸LBP和HOG特征的估计年龄的方法比单独使用LBP特征或单独使用HOG特征方法性能优越,表明多特征融合的比单个特征在人脸年龄估计方面有更好的表现。

3) 相较特征直接融合的方法,典型相关分析(CCA)方法能更好地揭示LBP和HOG信息间的关联关系,因而对人脸年龄估计的效果更好。

4 结论

研究方法提取与年龄变化关系紧密的人脸的局部统计特征,LBP特征和HOG特征,并用CCA的方法融合,最后通过SVR的方法对FG-NET人脸库进行训练和测试。该方法的实验中在没有对人脸图像做人脸矫正的情况下也取得良好的效果,FG-NET库中所有的年龄范围的MAE为6.968 0。未来的工作中实现人脸图像面部的自动检测提取,及找到更好的年龄回归的方法,并结合年龄定序的特点[14-15]使年龄估计的方法向实际应用更近一步。当然建立一个更加完备年龄人脸数据库是更为迫切。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3