基于肤色和改进LBP的人脸检测方法

高职

(1)西南交通大学信号与信息处理四川省重点实验室，四川省成都610031； 2 .西北师范大学数学与信息科学学医院，甘肃兰州730070； 3 .西北师范大学物理与电子工程学院，甘肃兰州730070 )摘要：提出了一种基于肤色信息和改进的局部二值模式(LBP )算法的人脸检测方法。 首先，使用新的光校正方法对彩色图像进行照明校正，分割肤色像素； 其次，使用正面人脸过滤窗口提取可能的人脸区域，进行改善的LBP算子得到其纹理特征； 最后，根据马氏距离比较人脸区域的LBP直方图和人脸/非人脸样本的LBP利用直方图相似度进行人脸的确认和定位。 Caltech face数据库，标记的faces in the wil database数据库、生活、网络、电影照片的实验验证，所提出的方法是稳健有效的。

关键词：人面部肤色； 本地双值模式(LBP； 检测

图中分类编号： TP391. 4文献识别代码： A文章编号：1005-0086(2009 ) 06-0816-06afacedetectionmethodbasedonskininformationandimprovedlbp奇永丰1，2 *，张家墅1

、霍源联3

(1. sichuanprovincekeylab.ofsignalandinformationprocessing，Southw est Jiaotong University，Cheng du610031、China； 2.collegeofmathematicsandinformation，Northwest Normal University，Lanzhou 730070，China；3.collegeofphysicsandelectronicengineering，Northwest Normal University，Lanzhou 730070，China )

abstract 3360 amethodoffacedetectionisproposed whichisbasedontheskininformationandimprovedlocalbinarypattern (LBP ).first lling thecoloroftheinputpictureiscompensatedbyusing onmethodandtheskinpixelsaresegmented.secondly， thepossiblefaceareasareextractedbyfrontalfacefilterwindowsandthelbpfeaturesofthemareobtainedbyanimprovedlbpoperator.lastly， themahalanobisdistanceisusedtoverifyandlocatethefacebycomparingthelbphistogramsofpossiblefaceareawiththatofface/non-face SACEproposedmethodsiseffectivebyusingthepicturesfromcaltechfacedatabase，标签faces in the wi-l数据库和其他图片。

key words :面； skinl localbinarypattern(LBP； det ection1领先

作为自动人脸处理系统的第一步，人脸检测与机器视觉模式识别领域的研究热点。 现有的面部检测方法为了进行检测大小不同的人脸通常使用窗口滑动技术使输入图像成比例进行变焦，用一定大小的窗口扫描变焦后的图像并露面的检测和定位是一项非常耗时的工作。 作为人的脸的特征征、肤色不受头部姿势、脸部表情、人脸部分遮挡等阴影响，近年来被广泛用于面部检测。 肤色检测通常被检测为面部第一步是通过检测肤色将潜在的脸部区域从复杂的背景中分离出来出来，对潜在的脸部区域进行脸部特征提取，最后进行确认。通过肤色检测，可以排除很多不存在人脸的区域，这一点会变大提高检测速度。 但是，在RGB颜色空间中，皮肤的颜色表现相对于亮度来说信息敏感，直接分割肤色无法取得满意的效果。 上色将图像从RGB颜色空间变换为标准的RGB、YCbCr、H SV等对应的颜色在色彩空间中，无论人的种族，肤色都表现出优良的聚类特性[1]。

在过去的十多年里，研究在不同的颜色空间建设了肤色

提出了模型[ 2，3 ]，并在此基础上提出了许多基于肤色的人脸检测计算法律[4~ 6]。

在肤色检测中得到可能存在脸部的区域后，如何有效地进行检测到这个区域的脸部，脸部特征的描述是中心任务。 本地2值模式(LBP )是一种有效的图像纹理描述算子，适用于灰度图像大局测量并提取了部邻域的纹理信息，应用于图像处理的各个领域

[ 7，8 ]。 结合肤色信息和面部LBP的特点，本文提出了一个制作有效的面部检测方法。 首先，对输入图像进行照明校正，进行校正表示照片的颜色，并将RGB颜色空间转换为YCbCr空间进行肤色像素检测，通过形态学操作删除了无意义的肤色区域后生成平滑的肤色区域，根据肤色区域选择面部过滤器窗口的光电子#激光器第20卷第6期2009年6月journalofoptoelectronics # laser vol.20no.6 jun.2009*受理日期： 2008-09-21修订日期： 2009-01-21

* e-mail : yongfeng _ qi @ hotmail.com生成大小、候选人脸，利用改进的LBP算法提取候选人脸纹理特征； 最后通过马氏距离判别候选人脸进行人脸确认和定位。与传统的人脸检测技术相比，本算法避免了滑动窗口的使用，大大降低了计算复杂度，可用于及时的人脸检测。2照明校正和肤色区域检测2. 1照明补偿

基于肤色的面部检测方法能正确区分肤色和非肤色吗像素对面部候选区域的提取很重要，这是为了减少不良的照明条件对色彩表现的影响需要照明修正。 对输入图像在进行照明校正之前进行几个条件设定：首先假设场景的照明一致中选择所需的族。 不考虑光聚焦于某个对象的情况。其次，假设在场景中白区，这个假设是合理的[9]在

因为场景总是包含着真相的白色(例如巩膜)等。

在上述假设下，用r、g、b通道分别校正输入的图像正确。 在像素x ) I，j )的r、g、b信道中的分量表示在r、g、b各信道中的参考白色值RWC=amax{IC(I，j ) }(1) ) ) ) ) ) ) ) ) ) ) ) )式中，a依赖于图像取得条件。

在标准照明条件下，白色区域IC(I，j ) ) cI R、g、b )值均匀255 )是在照明条件变化时，IC(I，j ) (cI R、g、b )一部分或全部所有的值都会改变。 为了降低光变化对肤色表现的影响，通常，通过查找场景中的参照白色进行照明校正。本文提出了自适应的参照白色的选择方法：首先设置图

将图像中r、g、b分量的值为各自通道的最大值的像素作为参照白色图像像素，其值为RWC=max{IC(I，j ) }、c=R、g、b，参考白色像素数量小于100，给定步骤k，RWc=RWc- K，重新计算图像的白像素数，重复上述步骤直到参照白像素数量大于100。 如果参照白像素数超过100，则对图像ICC(I，j )=

255、IC(I，j )/RWC(1

255@IC(I，j )/RWc，IC ) I，j )/RWc 1(2) ) ) )。

进行照明校正，照明校正后的图像为ICC(I，j )。 通过上述变换，可以在校正场景中白色区域的颜色的同时，对其馀像素进行照明校正补偿后，图1表示对原始图像进行了照明校正的结果。2.2肤色分割可以在YCbCr空间中使用表达式y

中央银行Cr=

智慧校园教务系统

65. 738 129. 057 25. 064- 37. 945 - 74. 494 112. 439112. 439 - 94. 154 - 18. 285#rgB

(3) ) )。从GRB空间转换的。从分类观点来看，肤色检测可视为二分类问题：肤色

像素和非肤色像素。 迄今为止已使用了几种不同类型的分类器[10]在肤色的分类上，他们有各自的优缺点。 本文通过给定肤色通过进行取得像素Cb、Cr值的范围的肤色像素提取，能够迅速地通过简单地进行肤色分割，不需要进行大量的数据计算，可以用于以下用途实时人脸检测。 根据文献[ 9]实验结果，YCbCr色色彩空间、肤色像素Cb、Cr成分得到满足137 Cr 17777 Cb 127

190 Cb 0. 6Cr 215(4) ) )。

使用公式(4)，对输入的彩色图像进行肤色分割，无论如何这样，人脸总是包含非肤色的区域(眼睛、鼻子等)，因此会被分割。结果中的一些无孔区域可以从面部区域中排除。 然后，对于分割结果：进行形态学腐蚀和膨胀操作，消除了小无意义形成区域，填补潜在脸部区域内部的孔，形成平滑的脸部区域，如图1(e )所示。图1肤色区域分割结果

Fig. 1 The results of shin segment三人面部的LBP特征3. 1 LBP

LBP是基于灰度描述图像纹理特征的不相关计算根据子、图像任意点与其周围的点的灰度值的大小关系表示图像的局部纹理特征。 在半径RP区域中，通过比中心点灰度值/gc0和其局部区域内的各点的灰度值{ g0，g1，gP- 1}的大小生成与图像中的各点相对应的二进制代码串，如果用数学式表示t=t(s(G0-GC )，s ) s(g1 - gc )，s ) gp-1-GC )，s ) x )=1，x \0

0，x 0

(5) ) )。

将二进制系数2分配给每个项在I中得到的LBP值是LBPP，r(xc，yc )=EP- 1i=0

s(gi-GC ) 2I(6) ) )。

二进制代码串中的/00和/10的变换数为2次以下时/Uniform0格式的LBP是# 817 #

第六期齐永锋等：基于肤色和改进的LBP人脸检测方法LBPriu2

p，r(xc，yc )=eP- 1i=0

s(gi-GC ) 2Iifu(LBP(2

P 1 otherwise(7) ) )。

其中u(LBP )|s ) gp-1 )-s ) G0-G1 )| EP- 1i=1

|s(gi-GC ) -s(gi-1-GC ) |。

/Uniform0形式与基本的LBP相比，有p(p-1 )三种编码，基本LBP为2p种代码。 用/Uniform0的形式表示人

脸部可以大幅节约存储容量，/Uniform0格式只检测重要的肌肉理，例如，点、线、边和角等。 计算一张图像每一点的LBP值，可以将这些LBP值统计直方图作为一个特征向量来表示图像纹理的特征可以通过计算两张图像的LBP值直方图之间的距离来判定图像相似性。3. 2改进的LBP

可以提取标准的LBP算子及其对应的/Uniform0模式具有高分辨率图像纹理的特点，广泛应用于图像

检索、图像模式识别等领域。 但是，在提取图像纹理时没有考虑区域内的小灰度值和当前像素的灰度值之间的差会丢失有如图2所示的有用信息。图像灰度值变化大的地方通常纹理信息多图2经典的LBP算法

Fig. 2 Classical LBP algorithm像眼睛一样； 灰度值均匀的区域，脸颊等纹理信息较少。 在在本算法中，对关注像素灰度值和区域内灰度值进行平均化行比较，当差分绝对值大于区域内的像素值的方差时，分配值1； 否则，值为0。 二进制模式可以用以下公式表示t=t(s(G0-L )，s ) G1-L )，s ) s(gP- 1 - L ) )，s ) x )=1，| x | \ D

0，| x | D(8) )。

其中： L是区域内灰度值的平均值； d是方差。 本文的算法可以使用图3请参阅。图3改进的LBP算法

Fig. 3 Improved LBP algorithm经典的LBP算法只捕捉区域内灰度值大的像素

的纹理信息。 灰度值小的像素值中包含的纹理信息被省略。 本提出的算法可以捕捉从灰度值大的像素产生的纹理信息，另外能够在捕获基于灰度值小像素的纹理信息的同时，丢弃几个灰度接近当前像素值的背景像素生成无用的信息，其效果如图4所示请参阅。3.3基于LBP直方图的人脸特征表达

为了减少背景像素的噪声，用改进的LBP算法提取人在人脸特征之前，对潜在的人脸区域进行预处理，然后提取人脸特征。其过程是1 )对人脸图像进行直方图均衡处理；图4脸部图像的LBP编码结果

Fig. 4 The LBP code of face2 )如图5(b )所示，放大缩小事先定义的正面面部过滤器窗口过滤到潜在脸部区域的大小，过滤背部的一部分

场景噪声后得到候选人的脸，效果如图5(c )所示；

江苏教育信息化

图交叉法，Log- likelihood，chisquarestatistics(x2请参阅。 为了图像

中脸由于姿势不同、表情变化等因素，不能使用一个模板特征向量表示所有人脸，本文利用马氏距离进行人脸相似度度量称量。 k类训练样本Sk和测试样本t直方图的马氏距离具体来说m2(sk，t ) ht-lk ) ) )。t

e

- 1

(H T - Lk ) )9) ) )。

其中： H T是测试样品直方图； Lk是k类训练样本的直方图值； e是k类训练样本直方图的协方差矩阵。 最后，进行测试样品被分类为马氏距离最小的一类。为了降低计算复杂度，对协方差矩阵进行主成分分解欧盟

t

、=diag{K1，K2，kn} (() 10 ) ) ) ) ) ) ) ) ) ) ) ) )。其中：个对角特征值矩阵，特征值按降序排列(K1 K2，# 818 #

光电子#激光2009年第20卷图5人脸的LBP特征

Fig. 5 The LBP feature of faceKN； u是对应的特征向量矩阵。 马氏距离可以表示如下m2(sk，t ) ht-lk ) ) )。te

- 1

(H T - Lk )=(H T - Lk ) )。t(u

- 1 U () H T - Lk )=uTA- 1

u(11 )。其中u=Ut(H T - Lk )。

选择前m(mnn )个非零特征值及其特征向量对e通过进行估计，在降低计算复杂度的同时，不会带来太大的误差。 选择的前m个特征值与总特征值之和的95%。4实验

4. 1面部样本和非人面部样本的选择人脸是确定的，所以选择人脸样本很简单。 收集了以000人的脸部作为训练样本，样本主要是脸部数据库、网络和生活照。 脸部图像是不同亮度下的正面照片，之后

用面部模板过滤背景像素后，缩放到24@ 24的大小。 作为一个例子两个分类模式识别问题是，除了脸以外，剩下的模式都是非人的脸，这给非人脸样本的选择增加了难度。 首先进行了肤色分析因此，将脸部检测范围设定在人的身体部分，例如脸部、肩膀、手和脚等部分，这在提高计算速度的同时，缩小了非人的面部样本请参阅。 非人脸样本主要由人体部分和非人体部分组成，如图所示中a表示人体中非人脸的部分，b表示非人体的部分。4. 2实验结果为了验证算法的健壮性和有效性，实验由两部分组成，首先一张实验照片来自两个人的脸部数据库，第二张实验照片来自生活、电影、网络照片。

实验1、对不同光照条件和不同人种照片的检测。

第一个采用的数据库是caltechfacedatabase(http/

www.vision.Caltech.edu/htm-lfiles/archive.html )由27个组成图6非人脸样本Fig. 6 The nonface samples

人的450张照片，照片大小为896@ 592 pixel，拥有不同的照明条道具、表情、背景。 第二个数据库是Labeled Faces in the Wildat基础知识[10]在

包括从web上收集的13，000张以上的无拘束的脸部照片，每张照片都用人名标记。

在实验中，利用第一个数据库，提出的方法对光栏的健壮性，部分实验结果如图7所示。 第二个数据库是验证了对不同人种的健壮性，部分实验结果如图8所示。 使用第一个以个数据库和部分第二个数据库图像(共700张)为检查目标，本文检测率为83. 29%，文献[ 2]检测率为82. 78%，文[ 4]的检出率为78. 6%。实验2、生活、电影照片检查。

照片主要来自现实生活、电影、网络，一共采用了80张照片照片包含267张人脸，实验结果的一部分如图9所示。 在这个实验中中，本方法检出率为87. 6%，文献[ 4]方法检出率为84. 5%，文献[ 11]检出率为82. 3%。# 819 #第六期齐永锋等：基于肤色和改进的LBP人脸检测方法图7不同照明下的检测结果

fig.7 thedetectedresultsofvariousillumination图8按种族分类的检查结果fig.8 thedetectedrsultsofdifferentraces5结论

提出了一种新的基于肤色的人脸检测方法，通过实验，本文方法结实有效。人脸检测是一个极具挑战性、应用广泛的课题，存在很多问题问题需要研究解决。 关于本文提出的方法，将确立今后的研究问题更结实的肤色模型、解决脸部遮挡的检测、与人体运动的配合移动信息进行面部检测。# 820 #

光电子#激光2009年第20卷图9实验结果的一部分

fig.9 thepartresultsofexperiment参照文献：

[1] Yang J，LuW，waibela.skin-colormodelingandadaptation [ a ].ACC v98 [ c ].1998，2:687-694。[2] Shang K K，LiuY，LU YX，et al.featuresofhumanskininhsvcolor

spaceandnewrecognitionparameter [ j ].journalofoptoelectronics#激光(光电子#激光)、2007、18(11 ) :1391-1392.(inChinese ) ) )。[3] Wang H Z，He X H，Zai W J，et al.imageretrievalbasedoncolorquantizationandindexing [ j ].journalofoptoelectronics # laser (光电子#激光)、2008、19 (2) :253-257.(inChinese ) ) ) ) ) ) ) ) )。[4] Hsu R L，Abde-l Mottaleb M，Jain AK.facedetectionincolorimages[ j ].ieetransactiononpatternanalysisandmachineintelligence、2002、5(5) : 696-706。[ 5] Chiang CC，huarobustmethodfordetectingarbitrarilytiltedhumanfacesincolorimages [ j ].patternrecognitionletters，2005，26: 2518-2536。

[6] Kyoung-Mi Lee，componen-tbasedfacedetectionandverification，Pattern Recognition Letters，2008，9 (3) :200-214。[ 7] Ahonen T，pietikam.facedescriptionwithlocalbinarypatterns 3360

applicationtofacerecognition [ j ].ieetransactionsonpatternanalysisandmachineintelligence，2006，28 (12 ) 33602037-2007[ 8] Li M，stauntonrc.optimumgaborfilterdesignandlocalbinarypa-tternsfortexturesegmentation [ j ].patternrecognitionletters，2008，29: 664-672。

[9] poyntonca.atechnicalintroductiontodigitalvideo [ m ].John Wiley三星，1996年。

[ 10] Kakumanu P，Makrogiannis S， Bourbakis N. A survey of skin-colormodelinganddetectionmethods [ j ].pattern recognition，2007，40)3) : 1106-1122。[ 11] Jin Z，Lou Z，yangjy.facedetectionusingtemplatematchingandskin-color information [ j ].neuro computing，2007，70 (4-6) : 794-800。个人资料：齐永锋(1972-)，男，甘肃武威人，博士研究生，研究方向为图像处理与模式识别1

# 821 #

第六期齐永锋等：基于肤色和改进的LBP人脸检测方法