基于主梯度编码局部二进制模式的花粉图像识别

谢永华，韩丽萍

(1.南京信息工程大学计算机与软件学院，南京210044; 2.江苏省网络监控中心(南京信息工程大学)，南京210044)

(*通信作者电子邮箱hanliping93@163.com)

0 引言

花粉颗粒分类识别在植物育种、过敏花粉指数预报、药物研制以及古气候重建［1］等领域具有非常广泛的应用前景。目前花粉鉴别主要是借助于显微镜的人工目视鉴别［2］，需要操作者具有丰富的孢粉学专业知识，鉴别过程耗时费力［3］，且鉴定结果易受主观影响，准确度普遍不高。鉴于显微镜下的花粉图像具有跟普通图像类似的轮廓、纹理以及结构特征，利用计算机对花粉图像进行特征提取和自动分类已经成为花粉鉴别的有效手段［4］。

自从Stillman等［5］建议在孢粉学中使用算法来对花粉进行分类识别以来，越来越多的花粉图像特征提取和识别算法被提出，其中纹理作为一种有效的花粉图像特征，得到了广泛研究和关注。例如，Kong等［6］使用字典学习和稀疏编码(Dictionary Learning and Sparse Coding，DLSC)来提取花粉粒的纹理和形状特征，获得了86.13%的识别率，该方法选取训练图像的样本块构建字典，然后通过空间感知稀疏编码对测试图像的样本块进行快速匹配从而实现对测试图像的分类，该方法的识别率很大程度上取决于样本块的选取以及所选样本块的数量。Guru等［7］提出了一种基于表面纹理的花粉图像分类模型，使用Gabor小波、局部二进制模式(Local Binary Pattern，LBP)、灰度共生矩阵 (Gray-Level Co-occurrence Matrix，GLCM)和灰度差分矩阵(Gray-Level Difference Matrix，GLDM)提取花粉的纹理特征，并将这些特征组合用于花粉识别——GLGG(Combined Gabor-LBP-GLCM-GLDM)，识别率达到了91.66%，但该方法的组合特征维数较高，识别率受图像质量变换影响较大。Marcos等［8］将灰度共生矩阵(GLCM)、Log-Gabor滤波器(Log-Gabor Filter，LGF)、局部二进制模式(LBP)和离散正交矩(Discrete Tchebichef Moment，DTM)相结合GLLD(Combined GLCM-LGF-LBP-DTM)来提取花粉图像的纹理特征，获得了94.83%的识别率，但该融合纹理特征中包含了大量的冗余信息，计算复杂度高。Daood等［9］将花粉图像分解到多个特征层MLFD(Multi-Layer Feature Decomposition)，分别提取每层的纹理特征和几何特征，获得了86.94%的识别率，但该方法对花粉图像旋转的鲁棒性不强。

局部二进制模式作为一种有效的纹理特征提取方法，近年来得到了不断的发展和演化。Zhang等［10］提出了基于多像素块的局部二进制模式(Multi-Block Local Binary Pattern，MBLBP)，该方法对图像进行局部平滑来提取LBP纹理特征，增强了特征对噪声的鲁棒性，但对图像进行局部平滑也在一定程度上削弱了算子的特征鉴别力，降低了算法的识别率。Wolf等［11］提出了三斑块局部二进制模式(Three Patches Local Binary Pattern，TPLBP)，该方法旨在挖掘基于像素强度差的二进制模式方法未能捕获的信息，但因其编码顺序固定，故不具有旋转不变性，且邻域像素块与中心像素块的相似度度量增加了算法的计算复杂度。Ren等［12］提出了抗噪声局部二进制模式(Noise-Resistant Local Binary Pattern，NRLBP)，该方法降低了噪声干扰对识别结果的影响，但对图像的旋转变化鲁棒性不高，且随着采样点数的增加，算法的计算量会急剧增大。

针对上述问题，本文对传统LBP方法的采样策略和权重分配方式进行改进，提出了一种基于主梯度编码局部二进制模式(Dominant Gradient encoding based Local Binary Pattern，DGLBP)的花粉图像识别方法。不同于传统LBP及其改进方法，该方法通过计算花粉图像主梯度方向的梯度幅值来提取花粉图像的主要纹理特征，降低了噪声干扰的影响，且摒弃了一些对特征贡献小的冗余信息。为更完备地表示花粉图像的全局和局部纹理特征，提出了多角度采样策略来同时提取花粉图像在不同尺度下的径向、角向和复合纹理特征。考虑到显微镜下的花粉图像均存在不同程度的角度旋转，提出了自适应加权方向，权重分配方向取决于每个局部区域的纹理分布情况。为验证DGLBP方法的有效性，分别在Confocal数据集和 Pollenmonitor数据集上进行实验。同时，本文还将DGLBP方法与近期4个花粉识别方法以及3个LBP改进方法进行了对比实验。实验结果验证了DGLBP方法有较好的识别效果，且对花粉图像的噪声干扰和旋转变化具有较好的鲁棒性。

1 基于主梯度编码的局部二进制模式

1.1 多角度纹理特征提取

自2006年Hinton等［13］首次提出深度学习的概念以来，越来越多的研究者致力于用深度学习的方法来对图像进行分类和识别并取得了较好的应用效果;但直接使用深度学习的方法来提取图像特征可能会忽略图像的局部结构特征，所以张雯等［14］提出了一种基于局部二进制模式和深度学习的方法并将其应用于人脸识别。考虑到不同种群的花粉图像多以纹理差异相互区分，深度学习的方法可能不能很好地提取花粉图像细微的纹理差异，所以本文采用局部二进制模式来提取花粉图像的纹理特征。局部二进制模式是纹理特征提取的主要方法之一，对于一幅图像，传统LBP定义为将一个方形区域的8个边缘像素点二值化，编码仅考虑邻域像素与中心像素的像素差，若差值为负则将该邻域像素点编码为0，否则编码为1，按照一定的顺序将二值化后的编码组成一个8位二进制串，该二进制串对应的十进制值即反映了中心像素周围的纹理分布情况，如图1所示。

图1 传统LBP量化过程Fig.1 Quantification process of traditional LBP

LBP特征具有较强的分类能力和较高的计算效率，且对于单调的灰度变化具有不变性［15－16］。但传统LBP及其改进方法大多都是通过比较单个像素值或像素块的平均值进行编码［17］，通常存在对噪声敏感、对图像的旋转的鲁棒性不高等问题。

为此，本文对传统LBP方法的采样策略和编码方式进行改进，提出了一种自适应主梯度编码的局部二进制模式，具体计算步骤如下。

1.1.1 多角度采样

1)计算主梯度方向。

计算图像中除边缘像素点外所有像素点的梯度，对每个像素点的梯度角向下取整，这样整个图像的梯度方向便离散化为8个方向。将所有像素点的梯度幅值分别加权到8个离散方向，取最大的梯度累加值所在的方向为图像的主梯度方向值，记为DGD(Dominant Gradient Direction)。图2给出了一个3×3图像块主梯度方向的计算过程。

图2 3×3图像块主梯度方向的计算过程Fig.2 Calculation process of dominant gradient direction of 3×3 image block

其中:gx(x，y)和gy(x，y)分别是像素点f(x，y)水平方向和垂直方向的梯度;g(x，y)和θ(x，y)分别对应着梯度幅值和梯度角。

2)计算图像块的梯度幅值。

对于某一像素点f(x，y)，其梯度计算公式如下:

对于每一个图像块，将主梯度方向上的所有像素点的梯度幅值累加作为该图像块的梯度幅值，记为 G(Br，p，m，i)，其中Br，p，m，i为处于采样点数为 P、半径为 r的圆形邻域上的，标号为i的m×m大小的图像块。具体计算公式如下:

其中:gr，P，m，i，j和 θr，P，m，i，j分别为标号为 i的图像块的第 j个像素点的梯度幅值和梯度角;DGD为主梯度方向值。对于一个3×3的图像块，其梯度幅值的计算过程如图3所示。

图3 3×3图像块梯度幅值的计算过程Fig.3 Calculation process of gradient magnitude of 3×3 image block

3)提取径向、角向以及复合梯度差。

计算花粉图像的径向梯度差、角向梯度差以及复合梯度差，分别将它们记为RGD(Radial Gradient Difference)、AGD(Angle GradientDifference)和 MGD(Multiple Gradient Difference)。

RGD定义为圆形邻域上的像素块与中心像素块的梯度差，具体计算公式如下:

其中:r为圆形邻域的半径;P为采样点数;m表示像素块的大小;i为像素块的编号(i=0，1，…，P － 1);Bc，m是以像素点 xc为中心的中心像素块。

AGD定义为圆形邻域上各像素块与自身相邻两个像素块的梯度差，具体计算公式如下:

MGD首先计算外环与内环上编号相差1的像素块的梯度差，记为Q，然后按逆时针方向计算每个梯度差与其之后的第3个梯度差的差值，具体计算公式如下:

以 图 4 为 例，径 向 梯 度 差 RGDr1，8，3，0、角 向 梯 度 差AGDr1，8，3，0以及复合梯度差 MGD8，3，0的计算如下:

1.1.2 自适应加权

为反映不同方向上的纹理变化，本文同时提取花粉图像的径向、角向以及复合纹理特征，分别表示为 DLBP_RD、DLBP_AD和DLBP_MD。

传统LBP及其一些演化算子为每个固定的二进制位赋予固定的权重，当图像发生旋转时，这些以圆形方式排列的二进制码的位置也会发生相应的移动，使得最终表示局部区域纹理特征的十进制数发生较大的变化。为解决无法判断花粉图像是否发生了旋转且旋转角度不确定的问题，提出了基于局部参考方向的权重分配方式，将这个参考方向定义为自适应加权方向，记为D*(“*”表示不同方向上的纹理特征)，在下文会给出具体赋值。当图像发生旋转时，自适应加权方向也会旋转相同的角度，使得参照自适应加权方向排列的二进制串不会因图像的旋转而发生改变，增强了特征对图像旋转变化的鲁棒性。对于局部图像块的中心像素点xc，不同方向纹理特征的自适应权重分配方式如下。

图4 DGLBP采样图Fig.4 Sampling figure of DGLBP

1)径向纹理特征DLBP_RD。

DLBP_RD的自适应加权方向定义为与中心像素块的梯度差值最大的圆形邻域像素块的编号，记为DR，以DR为初始点按逆时针方向依次给相应位置的二进制码分配权重，最后求得的十进制值即反映了中心像素点的径向纹理特征。具体计算公式如下:

其中，S(x)为符号函数，定义为:

2)角向纹理特征DLBP_AD。

DLBP_AD的自适应加权方向定义为圆形邻域上与相邻像素块的梯度差值最大的像素块编号，记为DA，然后以DA为编码起始点按逆时针方向给相应的二进制码分配权重，最后求得的十进制值即反映了中心像素点的角向纹理特征。具体计算公式如下:

3)复合纹理特征DLBP_MD。

DLBP_MD的自适应加权方向定义为使外环与内环上编号相差1的像素块的梯度差值最大的外环像素块的编号，记为DM，然后以DM为编码起始点按逆时针方向给相应的二进制码分配权重，最后求得的十进制值即反映了中心像素点的复合纹理特征。具体计算公式如下:

1.2 多尺度纹理统计特征

对于一个普通大小的局部图像块，DLBP_RD、DLBP_AD和DLBP_MD三个用于提取不同纹理特征的算子得到的二进制模式数目较多，这将会得到一个相对稀疏的直方图，影响了直方图的统计效果。为减少冗余的二进制模式，同时又保留足够的具有重要描绘能力的特征信息，本文对上述三种类型的二进制模式进行分类，其中0/1或1/0跳变次数不超过2的归为均匀模式，跳变次数大于2的统归为非均匀模式［18］。检验某种模式是否是均匀模式的方法就是将其与其移动一位后的二进制模式按位求差，然后统计非零差值的个数，定义如下:

其中:U值表示0/1或1/0的跳变次数;δi(G(B))表示第i组像素块的主梯度幅值的差。对于采样点数为P的局部二进制模式，均匀模式共有P(P－1)+2种，对于上述三种纹理描述子，当其采样点为8时，二进制编码可从原来的256种降低到59种。

将同一尺度下DLBP_RD、DLBP_AD和DLBP_MD三个算子的直方图统计特征进行组合，记为DGLBPL，L为当前特征所用尺度编号，如图5所示。DGLBPL表示为:

其中:RDL是径向纹理特征向量;ADL是角向纹理特征向量;MDL是复合纹理特征向量。RDL、ADL、MDL表示如下:其中，k=P(P－1)+3表示特征向量的维数。DGLBP可表示为如下矩阵的形式:

图5 DGLBPL特征直方图Fig.5 Feature histogram of DGLBPL

2 基于DGLBP的花粉图像分类识别

本文使用DGLBP描述子对花粉图像进行分类识别，首先从数据集的每类花粉图像中选取一部分图像作为训练图像，其余的作为测试图像，分别计算每幅花粉图像在三个方向上的纹理特征;然后调整采样半径和像素块大小来提取花粉图像在不同尺度下的纹理特征;最后将不同尺度下的多方向纹理特征进行融合以构建最终的花粉图像纹理特征。为对测试图像进行分类识别，计算测试图像特征向量与所有训练图像特征向量的欧氏距离，找出与测试图像特征向量距离最短的训练图像特征向量，该训练图像的花粉类别即为测试图像所属的花粉类别。使用DGLBP描述子对花粉图像进行分类识别的伪代码如算法1所示。

算法1 基于DGLBP的花粉图像分类识别算法。

A)训练阶段。

输入 训练集T(ti表示训练集中的花粉图像)，内环半径r，外环半径r'，像素块大小m;

输出 训练图像的统计特征。

1) for tiin T do

2) 计算图像中除边缘像素点外各像素点的梯度;

3) 计算图像的主梯度方向;

观察组患者治疗过程中共出现1例恶心现象，对照组患者治疗过程中出现4例恶心以及2例呕吐情况；因此观察组患者不良反应发生率1例（2.9%）显著低于对照组患者6例（17.1%）。

4) 计算图像的径向纹理特征;

5) 计算图像的角向纹理特征;

6) 计算图像的复合纹理特征;

7) 对三个方向上的纹理特征进行融合;

8) 改变r、r'、m，重复2)～7)，以提取不同尺度纹理特征;

9) 对不同尺度的纹理特征进行融合;

10) end for

B)测试阶段。

输出 测试图像所属类别。

11) for mjin M do 2)～9)

12) 计算与测试图像特征向量欧氏距离最短的训练图像特征向量及其所属的花粉类别;

13) end for

3 实验与结果分析

本文实验的硬件环境为Intel Core i5-3210M@2.50 GHz处理器、6 GB运行内存，软件环境为64位Windows 7操作系统、Matlab R2014a。分别在 Confocal数据集和 Pollenmonitor数据集上对DGLBP描述子进行实验分析验证，其中Confocal数据集包含了26个不同类别的389个花粉颗粒图像，这些图像均是通过共焦激光扫描显微镜手工记录的高品质图像，未受到任何的污染和变形。Pollenmonitor数据集包含了来自33个不同种类的22750个花粉颗粒图像，该数据集中的图像在实际采集过程中，受显微传感器和不规则收集方法的影响，部分花粉图像有一定程度的变形和污染，图像质量普遍不高。

分别选取两个数据集上20%的花粉图像作为训练样本，其余的作为测试样本。分别提取三个尺度的纹理特征，尺度大小如表1所示。采用欧氏距离分类器进行分类识别。实验中分别采用正确识别率和平均识别时间来验证算法的识别性能。

3.1 Confocal数据集的实验结果

DGLBP描述子在Confocal数据集上6类具有代表性的花粉图像的分类结果如图6所示。从图6可以看出，大部分轮廓明显、纹理清晰以及有角度旋转的花粉图像均能被正确地分类和识别。

这6类花粉图像的识别结果如图7所示。由图7可以看出，对于绝大多数质量较高的花粉图像，DGLBP描述子的正确识别率均能达到93%以上;对于形状简单、纹理清晰的高质量Fagus花粉图像，DGLBP描述子获得了高达98.24%的正确识别率;而对于空间结构复杂、旋转角度各异的Pinus花粉图像，该方法的正确识别率则相对较低，但也超过了85%，这是因为Pinus花粉形状结构复杂，不同的视觉角度呈现出不同的形状和雕文。实验结果表明，DGLBP描述子对于质量较高的花粉图像有着较好的识别效果，且对花粉图像的旋转变化具有较强的鲁棒性。

表1 实验所用尺度大小Tab.1 Scale sizes used in experiment

图6 Confocal数据集中6类典型花粉识别示例Fig.6 Recognition instances of 6 classic pollen categories from dataset Confocal

图7 Confocal数据集中6类典型花粉的识别结果Fig.7 Recognition results of 6 classic pollen categories in dataset Confocal

3.2 Pollenmonitor数据集的实验结果

DGLBP描述子在Pollenmonitor数据集上对6类具有代表性的花粉图像的分类结果如图8所示。从图8可以看出，大部分有着丰富纹理信息且未受到污染和变形的花粉图像均能被正确地分类和识别。

图9给出了这6类花粉图像的识别结果。由图9可以看出，DGLBP描述子对于不同类别的花粉图像均有着较好的识别效果，平均正确识别率达到了90.25%，相应的平均错误识别率只有9.75%。产生错误分类大多是因为花粉在采集过程中受到了污染或挤压，破坏了其表面的纹理结构。对于纹理结构明显的 Plantago花粉图像，DGLBP描述子获得了93.25%的正确识别率;而对于图像质量较差且受噪声干扰严重的 Fagus花粉图像，该方法的正确识别率也能达到84.73%。实验结果表明，DGLBP描述子对图像质量相对较低的花粉图像也能取得较好的识别效果，且对花粉图像的噪声干扰具有较好的鲁棒性。

图8 Pollenmonitor数据集中6类典型花粉识别示例Fig.8 Recognition instances of 6 classic pollen categories from dataset Pollenmonitor

图9 Pollenmonitor数据集中6类典型花粉的识别结果Fig.9 Recognition results of 6 classic pollen categories in dataset Pollenmonitor

3.3 实验对比分析

为验证 DGLBP描述子的有效性，将其实验结果与DLSC［6］、GLGG［7］、GLLD［8］和 MLFD［9］的实验结果进行对比。图10(a)给出了DGLBP描述子与其他4种花粉识别方法在两个数据集上的平均识别时间。由图10(a)可以看出，在两个数据集上DGLBP描述子的平均正确识别率均高于其他4种方法。在Confocal数据集上，DGLBP描述子的平均正确识别率高达94.33%，比其他方法平均高出8.9个百分点。在Pollenmonitor数据集中，大多数花粉图像因采集视角的不同有些许角度的旋转，且一部分图像受到了较为严重的噪声干扰，图像质量不高，但DGLBP描述子的平均正确识别率仍能达到92.02%，高出其他花粉识别方法最多18.23个百分点。图10(b)给出了DGLBP描述子与其他4种花粉识别方法在两个数据集上的平均识别时间。由图10(b)可以看出，DGLBP描述子的计算效率高于GLGG和GLLD，但却低于DLSC和MLFD。虽然DGLBP描述子的计算效率低于DLSC和MLFD方法，但其在两个数据集上的平均正确识别率能高出DLSC方法18个百分点，高出MLFD方法7个百分点。实验结果表明，DGLBP描述子的识别效果优于其他4种花粉识别方法，且对花粉图像的旋转变化、噪声干扰具有较强的鲁棒性。

为衡量DGLBP描述子的改进效果，将DGLBP描述子的实 验 结 果 与 LBP 的 改 进 方 法 MB-LBP［10］、TPLBP［11］、NRLBP［12］在两个数据集上的实验结果进行对比。图11给出了DGLBP描述子和其他3种LBP改进方法在两个数据集上的正确识别率和平均识别时间。

图10 DGLBP与不同花粉识别方法的识别结果对比Fig.10 Comparison of recognition results of DGLBP and different pollen recognition methods

图11 DGLBP与不同LBP改进方法的识别结果对比Fig.11 Comparison of recognition results of DGLBP and different improvement methods of LBP

由图11可以看出，DGLBP描述子在两个数据集上的平均正确识别率均远高于其他LBP改进方法的平均正确识别率，但DGLBP描述子的计算效率却是最低的。在Confocal数据集上，DGLBP的平均正确识别率比其他LBP改进方法平均提高了18个百分点;在Pollenmonitor数据集上，DGLBP的平均正确识别率比其他LBP改进方法平均提高了18.5个百分点。之所以DGLBP描述子的计算效率比对比的3个LBP改进方法均低，是因为DGLBP描述子同时提取花粉图像在3个方向上的纹理特征，且每个方向均提取3个尺度的纹理特征，这无疑增加了算法的计算时间，但同时也提高了描述子的特征鉴别力。实验结果表明，DGLBP描述子相较于其他3种LBP改进方法有更好的识别效果，更适用于花粉图像的实际分类识别，但在识别效率上还有待改善。

4 结语

针对传统LBP方法对噪声敏感、对图像旋转的鲁棒性不高且无法提取多方向纹理特征等不足以及花粉图像存在着旋转、缩放、受噪声干扰等问题，提出了基于主梯度编码的局部二进制模式描述子。该描述子的优点体现在以下方面:1)通过比较各像素块在主梯度方向上的梯度幅值对中心像素进行量化，避免了噪声导致的二进制模式的突变。2)同时提取花粉图像在不同尺度上的径向、角向以及复合纹理特征实现了对花粉图像的多尺度分析，提高了描述子的特征鉴别力。3)参照图像块所在局部区域的纹理分布情况为二进制码自适应分配权重，增强了描述子对花粉图像旋转变化的鲁棒性。

相较于实验中对比的花粉识别方法以及LBP的一些改进方法，本文方法对花粉图像的分类识别有更好的识别效果，但同时提取花粉图像在不同方向上的多尺度特征增加了算法的时间复杂度，所以在后续研究中将考虑简化模型并结合其他技术对模型进行改进，从而在提高识别效率的同时提高识别精度。