非均匀光照下静态手势识别研究

卜明龙，黄家海，2，辛文斌，郝惠敏，2

（1.太原理工大学机械与运载工程学院，山西太原 030024；2.新型传感器与智能控制山西省重点实验室，山西太原 030024）

1 引言

随着人工智能技术的发展，手势交互凭借其简单，自然且高效的优势逐渐成为当前人机交互领域的研究热点。并且随着“工业4.0”与“中国制造2050”等智能制造战略的提出，手势交互由于能够大大提高生产效率，为工人提供更舒适的工作环境，从而成为智能制造领域中的关键技术[1]。

与此同时，在其他领域如工业设计[2]，智能家居[3]，尤其是机器人[4−7]领域同样得到了广泛应用。

手势识别主要包括预处理，特征提取和识别分类三个阶段。预处理阶段的主要任务是将手势图像从复杂的背景中分割开来，避免复杂环境对后续特征提取和分类的影响。由于肤色信息在颜色空间上具有聚簇特性且通常与背景颜色具有较大差异，因而被广泛应用在手势分割任务中[8]。

但实际的工业环境通常比较复杂，尤其是受光线变化影响较大，导致在实际生产中分割困难甚至完全失效。而基于深度信息设备的方式，如文献[5−6]在光线较强的环境下效果较差，因此不适用于室外环境[9]。所以，提出一种对环境适应性较强，尤其是对光线变化不敏感的手势识别方法在工业生产中具有很大的实用价值。

特征提取阶段，应用较多的有梯度特征[10]，矩特征[11]或几何特征[2，12]等。深度学习方法特征自学习能力较强，但对数据量要求较大，而手势数据集通常偏向中小型，所以不适合应用于手势识别。此外深度学习对计算能力要求较高，训练时间长，导致实时性较差，所以人工提取特征仍是当前手势识别的主流方法。常见的人工特征中，HOG特征最早应用于行人检测任务中，由于该特征对光线变化和小幅度旋转具有一定的鲁棒性，因此被广泛应用在手势识别任务中[10]。但原始的HOG 特征维数较高，且包含大量冗余特征，因而导致算法实时性较差。鉴于工业生产任务的实时性要求，有必要对其进行降维处理。

基于上述问题，从预处理和特征提取两方面进行解决。预处理方面，采用改进的同态滤波算法对原始图像进行增强处理。该算法可在增强较暗区域细节信息的同时不削弱较亮区域的信息，从而克服光线变化带来的问题。在特征提取方面，采用对光线变化具有一定鲁棒性的HOG特征，并采用PCA的方法对HOG特征进行降维。最后，将降维后的特征输入到支持向量机SVM中进行分类识别。

2 预处理阶段

图像增强是预处理阶段的重要组成部分，对后续手势分割效果影响较大。其中同态滤波算法是一种高通滤波算法，该算法在频域空间内对图像高频部分的信息进行增强处理，并对处于低频的信息进行抑制。文献[13]将同态滤波应用到农业采摘机器人的视觉任务中，较好克服了光照不均对图像分割带来的影响，因此引入该算法进行手势图像的增强。主要流程如下：

（1）原始图像f（x，y）可由入射分量i（x，y）和反射分量r（x，y）的乘积表示。即f（x，y）=i（x，y）r（x，y）。其中入射分量在空间上通常具有缓慢变化的性质，对应频域中的低频分量。反射分量往往引起突变，反映了图像细节部分，对应频域中的高频分量。

（2）为分开处理频域中的入射和反射分量，需对原始图像做对数处理。即lnf（x，y）=lni（x，y）+lnr（x，y）。

（3）对数处理后进行傅里叶变换。即F（u，v）=I（u，v）+R（u，v）。

（4）用滤波函数对频域内的入射分量和反射分量进行计算，即H（u，v）F（u，v）=H（u，v）I（u，v）+H（u，v）R（u，v）。其中传递函数H（u，v）为一种高通滤波函数。

（5）对滤波后的图像进行傅里叶反变换和对数反变换，即得到滤波后图像。

改进的滤波函数，由同态滤波的步骤4可知，所采用的滤波函数对同态滤波算法的效果起到决定性作用。传统滤波函数最常用的有高斯型和巴特沃斯型两种，分别如式（1）、式（2）所示。

式中：D（u，v）—点（u，v）到滤波中点（u0，v0）的距离；D0－截止频率；γh－高频增益系数；γl－低频增益系数。可以看出，传统滤波函数参数过多，使滤波效果很难得到最优。

为此，文献[14]提出了改进的S型曲线传递函数，如式（4）所示。

改进后的滤波函数为：

对于改进后的滤波函数，只需控制滤波函数t则可调节增强的程度，有效解决了传统滤波函数参数过多的问题。因此，采用S型传递函数进行手势数据的增强。

3 基于PCA降维的HOG特征

HOG特征统计局部区域的梯度方向信息作为该图像局部区域的特征，被广泛应用于行人检测和手势识别等任务中。

由于该算法标准化gamma空间，因此对光照变化和小幅度旋转都具有一定的鲁棒性，单一特征最为强大。但该特征维数较高，且含有大量冗余特征，大大减弱了算法的实时性，因此有必要对其进行降维。

PCA是一种无监督线性数据转换技术，目标是在高维数据中找到最大方差方向，将数据映射为维度不高于原始维度的子空间上。以往基于PCA 的方法多依靠经验值，很难保证结果达到最优。为解决此问题，降维后的维数由特征向量的方差贡献率决定，并将降维后的PCA−HOG 特征输入到支持向量机中进行分类，而SVM参数通过网格搜索和交叉验证方法确定。

4 实验结果及分析

由于实际环境下光线分布均匀度不同的手势样本较难采集，因此本实验中的采集任务均在室内条件下进行，并且在不同的入射光线条件下做不同程度的形变。在实际工业应用现场，入射光线角度经常发生偏移，导致采集到的图像光线分布不均匀，甚至导致较暗区域像素灰度级发生明显变化，且光照不均匀性越强，像素灰度级变化越剧烈，严重的情况下会导致后续肤色检测过程完全失效。

为模拟光照不均匀性程度对识别结果的影响，将随机调整同一张手势图像的亮度和对比度，并对比调整前后手势分割的效果，目的是使光照分布的均匀程度作为唯一变量，测试所提方法对不同程度光照的条件下手势识别任务的有效性。扩充后的样本量共为四类，每类在300左右，通过7：3的比例划分训练集和测试集。

（1）同态滤波效果

首先研究不同照度对手势分割效果的影响，如图1所示。受光照不均影响，图1（a）手势左侧区域较亮，细节信息比较明显，因此肤色分割比较容易，但手势右侧尤其是手掌区域光线较暗，并且阴影处细节模糊，为后续的肤色检测增加了难度。与原图相比，图1（b）受光照不均度影响较轻，但图像整体偏暗，仍然对后续的肤色分割产生不利影响。

为验证方法对光照不均匀的有效性，对不同照度下的原图像包括图1（a）、图1（b）直接进行手势检测，包括肤色分割，二值化处理以及形态学处理，分割效果，如图1（c）、图1（d）所示，由图可知，图像上较暗区域，特别是手掌部分由于光线较暗，导致大面积的检测失效，轮廓信息提取不完整。

而图1（d）的原图像虽然整体亮度较低，但光线不均匀程度影响较小，所以检测效果稍好于图1（c），但边缘信息仍然发生丢失，尤其是右侧小拇指与手掌接触的部分，轮廓信息发生断裂。

图1 原图像的手势分割Fig.1 Gesture Segmentation of the Original Images

为验证方法对后续手势分割的有效性，针对图1（a）、图1（b）所示的不同照度下图像，分别进行同态滤波处理，结果如图2（a）、图2（b）所示。由图可知，同态滤波处理后，图像间光照不均匀度差别明显减轻，且原较暗区域如手掌部分细节更加明显。对滤波后图像进行手势的分割处理，结果，如图2（c）、图2（d）所示。与图1（c）、图1（d）相比，光照不均度对手势分割的影响几乎被完全消除，且手势边缘信息被完全提取出来，手势分割效果更为完整，说明提出的方法对光照不均匀度具有一定的有效性。

图2 图像增强后Fig.2 After Image Enhancement

对其它手势进行处理，原图像，如图3（a）、图3（b）所示，二者受光线变化影响，在除拇指外四个手指的指尖部分曝光不足，导致细节模糊，对原图直接进行手势分割的效果，如图3（c）、图3（d）所示，图3（b）受光线变化影响较大，导致指尖和手掌处大面积的检测失效，且边缘提取的不明显。

图3 原图像的手势分割Fig.3 Gesture Segmentation of the Original Images

对原图像进行滤波处理后的效果，如图3（a）、图3（b）所示。由图可知，光照不均匀度导致的像素灰度变化不均匀现象得到改善，原阴影处特别是指尖区域图像细节变得明显，同态滤波后的手势分割效果，如图4（c）、图4（d）所示。光线分布不均匀导致的手势分割困难问题被较好解决，手势分割的较为完整，手势轮廓信息较为图3（d）相比分割质量仍然得到较大提高，为后续明显。虽然图4（d）前景存在空洞现象，与的识别工作奠定了良好基础。

图4 图像增强后Fig.4 After Image Enhancement

（2）PCA−HOG特征提取

PCA方差贡献率，如图5所示。横坐标为各个维度的特征向量，纵坐标为各特征向量所占的方差贡献率。方差贡献率反映特征值所对应的特征向量含有的信息量占总信息量的比重大小，因此将各自方差贡献率按从大到小进行排列。折线部分反映了前n维特征向量所占总信息量的大小。

图5 方差贡献率Fig.5 Variance Contribution Rate

如图2所示，在3780维的特征向量中，前300维特征向量已经占到了将近信息总量的100%。因此将原始特征维数减小到300维。

（3）SVM参数的确定

在基于SVM的方法中，公认对非线性任务效果最好的核函数为径向基（RBF）核函数，因此采用RBF核函数进行分类（原理不再赘述），需要优化的参数为惩罚因子C和参数γ，并采用网格搜索和5折交叉验证法对SVM进行调参。实验结果，如图6所示。

图6 平均识别率Fig.6 Average Recognition Rate

当惩罚因子C=100，γ=0.01时识别精度达到最高，为（95.6±0.11），识别效果较稳定。降维后特征不但没有使精度降低，反而在一定程度上使识别率得到了小幅度提高。除此之外，每张图像的分类时间由降维前的18.07ms缩减到降维后的1.43ms，实时性得到较大提升。

（4）实验结果分析

为验证该方法对光线变化的稳定性，对比了使用同态滤波处理前后，及使用PCA方法前后的平均识别率的变化情况。结果，如表1所示。

表1 实验结果Tab.1 Experimental Results

由表1可知，同态滤波算法能较好克服光线变化对识别率产生的影响，比原始图像的识别率提高了2.4%，达到95.6%。此外PCA 算法在不降低识别率的条件下能够使分类时间大幅缩短。同态滤波结合PCA−HOG 的方法能够较好克服工业环境下光照不均匀的问题，且具有较好的实时性。

5 结论

由于工业现场环境复杂，尤其是光线变化不均匀，导致后续手势分割效果较差，从而使手势识别的精度大大降低。因此本研究提出了改进的同态滤波算法和PCA−HOG相结合的解决方案。实验结果表明改进的同态滤波算法不但减少了滤波函数需要调节的参数量，而且使光照不均导致的分割困难问题得到抑制，使识别精度从滤波处理前的93.2%提高到95.6%，基本满足工业精度要求。此外，PCA算法在不降低识别精度的条件下使分类时间大幅缩短，从18.07ms缩短到1.43ms，大大提高了工业生产的实时性。

由于本研究提出的方法具有较强的抗光线变化干扰的能力，且具有较高实时性，因此可较好解决复杂的工业环境下手势识别效果较差的问题，在智能制造，工业机器人，以及智能交通等领域均具有良好的应用前景。