蕾丝花边的改进型纹理特征检索方法

曹 霞, 李岳阳, 罗海驰, 蒋高明, 丛洪莲

(1. 江南大学 教育部针织技术工程研究中心， 江苏 无锡 214122；2. 江南大学 轻工过程先进控制教育部重点实验室， 江苏 无锡 214122)

蕾丝花边的改进型纹理特征检索方法

曹 霞1, 李岳阳1, 罗海驰2, 蒋高明1, 丛洪莲1

(1. 江南大学 教育部针织技术工程研究中心， 江苏 无锡 214122；2. 江南大学 轻工过程先进控制教育部重点实验室， 江苏 无锡 214122)

针对传统的蕾丝花边检索主要依赖于人的视觉检测及文本检索，存在信息不稳定、效率低、检索效果不可靠的现象，提出了一种基于层次匹配下多特征融合的蕾丝花边检索方法。通过运用图案纹理特征标识图像，首先分别用灰度共生矩阵、灰度梯度共生矩阵、局部二进制算子提取纹理特征进行匹配。然后将3种提取纹理特征方法，分别结合形状特征、不变矩特征量进行逐层匹配。最后将层次匹配下各个纹理特征进行融合，弥补了单个匹配方法的不足，同时在蕾丝花边库中验证所用检索方法的正确率。分析结果表明，这种方法优于任意单个的蕾丝花边匹配方法，能较好地实现蕾丝花边检索，有效地提高图案检索的可靠度和准确率。

图像检索； 蕾丝花边； 纹理特征匹配； 层次匹配； 特征融合； 特征提取

近年来，由于蕾丝花型的多变性及蕾丝花边数据库的庞大，一般生产企业或中间商的数据库存储蕾丝花边多达几千到上万。传统的基于文本检索方法采用人工标注，其检索结果受主观因素影响大，从而导致检索准确度不高，效率低。如何快速、精确地实现蕾丝花边管理与检索是一亟待解决的行业难题。

蕾丝花边经编链、衬纬形成地组织，再配合贾卡形成网孔变化不一的底布纹理，配合多把梳栉的不同垫纱运动，再通过局部衬纬、压纱及色纱线编织形成平坦、立体及绣花图案，呈现出不同的织物肌理，在数字图像处理领域表现为不同的纹理，因此本文运用纹理特征对蕾丝花边进行标注，提出一种新的基于内容的蕾丝花边检索方法。

织物纹理特征可用一阶到高阶统计属性来进行描述，如平均值、方差、直方图、共生矩阵等[1]。研究表明，图像纹理特征与其周围的灰度变化规律密切相关，越平滑区域像素灰度变化越小，越粗糙区域像素灰度变化越大[2]。Haralick等定义了14个用于纹理分析的灰度共生矩阵(GLCM)特征参数，应用在织物编织图案上的识别率为80%[1,3]。Alvarenga等用灰度共生矩阵分析超声图像纹理特征，提高了夜间非接触式的温度估计方法的性能[4]。Hu等利用灰度共生矩阵分析织物纹理特征，即利用自适应选取纹理图像的主方向方法，描述出大量的纹理信息和旋转不变属性，提高了纹理特征的精度和非歧义性[5]。洪继光将图像梯度信息加入到灰度共生矩阵，使纹理具有方向特征，利用灰度梯度共生矩阵(GGCM)方法提取5类白血球样本纹理特征，进行分类检索后的识别率为77.8%[6]。Ojala等提出一种局部二值模式(LBP)纹理算子[7]，具有显著纹理特征描述能力。然而经试验得出，上述单一的基于全局或局部纹理特征匹配方法，仍然受花型纹理结构复杂和纹理周期截取误差的影响，导致最终匹配识别率较低。

为解决上述问题，本文提出一种基于层次匹配下多特征融合的蕾丝花边检索方法，将3种基于不同的图像纹理特征的方法分别进行层次匹配并融合，优化现有识别性能，提高检索的准确率。

1 蕾丝花边检索系统

1.1 系统框图

蕾丝花边检索包括2种模式：注册模式和辨识模式。其中注册模式由图像采集、图像预处理、特征提取3个功能模块组成；辨识模式由图像采集、图像预处理、特征提取、特征匹配和决策5个功能模块组成。注册模式指1 008幅无重复蕾丝花边图案经过注册过程得到模板特征向量，存储到蕾丝花边数据库。辨识模式指蕾丝花边数据库中图案依次作为测试图案，与数据库中的蕾丝花边进行 “一对多匹配”，即待检测的蕾丝花边特征向量需要与特征数据库中所有样本特征向量进行匹配，最后按照特征向量间的相似度做出决策，即由大到小进行排序，检索出待测蕾丝花边，这2种模式图如图1所示。

1.2 蕾丝花边图像采集和数据库的建立

为避免获取的样本图案发生畸变及外界光照等不利因素的影响，采用扫描仪获取蕾丝花边图案，保证试验外界环境一致。选取200 dpi的分辨率扫描样品，将图片缩放至621像素×439像素，分辨率为96 dpi。扫描时作如下优化操作，首先选择与花边颜色相对应的背景色，若蕾丝花边颜色较浅，背景选取为黑色；蕾丝花边颜色较深，背景选取为白色，处理结果如图2所示。

其次由于蕾丝花边的纹理分布呈现周期循环，为提高检索的效率和准确率，本文利用图像预处理的方法，经过图像阈值分割，然后根据蕾丝花边中的一个完全组织2个参考点坐标进行图像矫正、截取出一个完全组织图案，得到最终的蕾丝花边数据库，如图3所示。式中H表示蕾丝花型的花高，W表示蕾丝花型的花宽。

1.3 图像特征提取与匹配方法

1.3.1 形状特征匹配方法

(1)

即同时满足测试图案的花高与样本图案的花高差值不超过t，测试图案的花宽与样本图案的花宽差值不超过2t。其中Sk为满足筛选条件的样本图案的特征向量k=1,2,…,n,n为样本图案的个数。

1.3.2 纹理特征匹配方法

1.3.2.1 基于灰度共生矩阵的纹理特征匹配 在图像纹理特征提取方法中，共生矩阵描述了图像灰度分布关于方向、变化幅度和局部领域的综合信息[8]。通过分析蕾丝花边图案的纹理特征，即图案的像素值分布规律，取图像中任意一点(x,y)及其位置方向θ(0°，45°，90°，135°)上另一点(x+△x,y+△y)，形成一个点对，其灰度值设为(i,j)，即点(x,y)的灰度为i，点(x+△x,y+△y) 的灰度为j。当△x和△y恒定时，遍历图像各个点(x,y)。为减少计算量和提高纹理特征的识别效果，将原图像的灰度级256量化为128，即L=128。统计图像中每对像素点在灰度共生矩阵出现的概率为Pij，其中[Pij]L×L为灰度概率联合概率矩阵，即灰度共生矩阵[9-10]。

(2)

式中：#表示集合中元素的数目；Q表示总的灰度级对数目。基于GLCM的纹理特征中对比度和熵具有最大识别能力,其中角二阶矩、对比度、相关性是不相关的[11]，本文选取角二阶矩fasm、对比度fcon、相关度fcor、熵fent4个特征量来表示纹理特征。

(3)

(4)

对比度、角二阶矩、熵、相关度各个均值，方差，共同组成最终蕾丝花边图案的纹理特征向量。

(5)

(6)

U(LBPE,R)=|s(ge-1-gc)-s(g0-gc)|+

(7)

1.3.3 不变矩特征匹配方法

考虑到图像的主要信息由图像的边缘轮廓提供，文献[12]证明了不变矩特征量具有尺度、旋转、平移不变特性，因此本文将不变矩作为图像的匹配特征量。首先采用Canny算子提取蕾丝花边图案的边缘特征，运用3×3Sobel模板算子进行滤波，低滞后阈值为3，高滞后阈值为9。选取图案边缘特征的7个不变矩特征量[13]h1～h7，式中的η是归一化矩。

h1=η20+η02

h2=(η20-η02)2+4η112

h3=(η30-3η12)2+(3η21-η03)2

h4=(η30+η12)2+(η21+η03)2

h5=(η30-3η12)(η30+η12)[(η30+η12)2-

3(η21+η03)+(3η21-η03)(η21+η03)

[3(η30+η12)2-(η21+η03)2]

h6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

h7=(3η21-η03)(η30+η12)[(η30+η12)2-

3(η21+η03)2]-(η30-3η12)(η21+η03)

[3(η30+η12)2-(η21+η03)2]

(8)

1.4 层次匹配算法

基于多特征的层次匹配方法可显著地提高特征提取与匹配的效率，可在大数据库下由粗到精逐层实现图案特征匹配与识别，有效地提高匹配的效率和精确度[14]，因此针对不同的层次分别采用不同的匹配方法。层次1：形状特征匹配；层次2：纹理特征匹配；层次3：不变矩特征匹配。

假设蕾丝花边数据库中有n个样本图案，即有n个模板特征向量，记为S1,S2，…,Sn。某个模板特征向量Sk，k=1,2，…,n，其对应的排序值定义为rk。

首先按照具体节图像预处理方法截取蕾丝花边一个完全组织图案，采用形状特征匹配算法筛选出满足第1层形状特征匹配的蕾丝花边，然后采用上述第2层纹理特征匹配算法中各个纹理特征提取方法，计算出测试图案特征向量与经过第1层形状特征匹配筛选后蕾丝花边图案数据库中所有需要进行匹配的特征向量的距离，根据相似程度由大到小排序，相似度最大的模板特征向量所对应的蕾丝花边图案作为匹配的第1候选。然后按照实际测试图案与样本图案的对应关系，分别验证上述GLCM、GGCM、LBP纹理特征对所有模板特征向量排序的结果。

假设实际与测试图案相对应的某模板的特征向量为Su，u=1,2,…,n，Su的排序值为ru，当模板特征向量Su为非第1候选时，即ru≠1，定义返回的模板特征向量为Sback={Sk|ru≥rk}，其中对Sback中模板特征向量进行第3层不变矩特征匹配，重新排序，得到3种层次匹配下的不同纹理特征的匹配结果，再分别用2种融合方法对3种层次匹配结果进行筛选、融合，得到最终的匹配结果，如图4所示。图中，D1

1.5 多特征融合方法

表1 用于融合的蕾丝花边匹配方法及其编号Tab.1 Lace matching method for fusion and classifier

1.5.1 融合方法1

(9)

将m个分类器对Sk的Borda数排序中最高的2个排序值求和，作为融合后对Sk的排序输出值，即

(10)

(11)

1.5.2 融合方法2

(12)

重新排序，得到各个分类器融合后的所有模板特征向量的排序，排序最高的模板即为第1候选。

2 试验结果

利用1.2节方法获取到1 008幅蕾丝花边图案，对这些图像进行预处理，将提取的每幅图像的一个完全组织的模板特征向量存储到蕾丝花边数据库来测试文中提出的算法。蕾丝花边数据库中图案依次作为测试图案，分别运用上述各种匹配方法进行测试，返回匹配效果最优的前M个模板作为候选。前M个候选中若含有实际与测试图案相对应的模板图案，即识别正确。识别率为正确识别的图案个数占测试图案总数目的百分比，定义评价指标有M=1，M=5，M=10，3种情况正确识别率、一幅蕾丝花边识别的平均时间，即一幅测试图案与数据库中所有的模板特征向量匹配得到识别结果的时间。综合各种匹配方法测试结果如表2所示。

表2 8种蕾丝花边识别方法的测试结果Tab.2 Test results of eight kinds of lace recognition methods

表2示出了3种单一纹理特征匹配方法、3种基于层次匹配下纹理特征匹配方法，以及2种基于层次匹配下多种纹理特征融合匹配方法对测试集合中图案进行检测的结果。从试验结果可发现，基于层次匹配下各种纹理特征准确率高于任一单一纹理特征匹配方法，其中基于层次匹配下GGCM纹理特征匹配方法效果最好。2种基于层次匹配下多种纹理特征融合匹配方法准确率较高于层次匹配下各种纹理特征匹配方法，其中基于加权的Borda计数法略好于第1种融合方法。在识别速率上，因蕾丝花边数据库中各个完全组织的花高与花宽的不同，所以要遍历样本图案每一个单位分块，提取LBP纹理算子特征进行匹配，导致LBP纹理算子特征的匹配速率明显比其他单一的蕾丝花边识别方法要慢。由于在单一纹理特征匹配方法基础上结合层次匹配及特征融合，存在重复的步骤，因此基于层次匹配下3种纹理特征匹配方法及2种多特征融合方法识别时间要略高于单一纹理特征匹配方法。

3 结 语

本文针对单一纹理特征匹配方法识别率低下及提取纹理特征不全面的问题，分别运用GLCM、GGCM、LBP纹理算子提取纹理特征，结合形状特征与不变矩特征向量，进行逐层次匹配，得到层次匹配下各个纹理特征匹配的结果。又将层次匹配下各个纹理特征进行融合，提出了一种基于层次匹配下多特征融合的蕾丝花边检索方法，弥补了单个匹配方法的不足，增强了识别效果。分析结果表明，该方法优于任意单一的蕾丝花边匹配方法，能较好地实现蕾丝花边检索，有效地提高图案检索的可靠度和准确率。

FZXB

[1] JEFFREY Kuo Chungfeng, SHIH Chungyang, HO Chengen, et al. Application of computer vision in the automatic identification and classification of woven abric weave patterns[J]. Textile Res J, 2010, 80(20): 2144-2157.

[2] 焦蓬蓬，郭依正，刘丽娟,等.灰度共生矩阵纹理特征提取的MatLab实现[J]. 计算机技术与发展，2012， 22(11):169-172. JIAO Pengpeng, GUO Yizheng, LIU Lijuan, et al. Extract matrix texture of gray level co-occurrence based on the Matlab[J]. Computer Technology and Development, 2012, 22(11): 169-172.

[3] HARALICK R M, SHAUNMMUGAM K, DINSTEIN I. Textural features for image classification[J]. IEEE Transactions on Systems, Man and Cybernetics, 1973, 3(6): 610-621.

[4] ALVARENGA A V, TEIXEIRA C A, RUANO M G, et al. Influence of temperature variations on the entropy and correlation of the gray-level co-occurrence matrix from B-mode images[J]. Ultrasonics, 2010, 50(2): 290-293.

[5] HU Y, ZHAO C X, WANG H N. Directional analysis of texture images using gray level co-occurrence matrix [C]// 2008 IEEE Pacific-Asia Workshop on Computational Intelligence and Industrial Application. Wuhan: ACM, 2008: 277-281.

[6] 洪继光. 灰度-梯度共生矩阵纹理分析方法[J]. 自动化学报,1984,10(1): 22-25. HONG Jiguang. Analysis texture based on gray-gradient co-occurrence matrix[J]. Acta Automatica Sinica, 1984, 10(1): 22-25.

[7] OJALA T, PIETIKANINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[8] 常利利,马俊,邓中民,等.基于灰度共生矩阵的织物组织结构差异分析[J]. 纺织学报, 2008, 29(10): 43-46. CHANG Lili, MA Jun, DENG Zhongmin, et al. Analysis fabric structure variance based on gray level co-occurrence matrix[J]. Journal of Textile Research, 2008, 29(10): 43-46.

[9] JEFFREY Kuo Chungfeng, TSAI Chengchih. Automatic recognition of fabric nature by using the approach of texture analysis[J]. Textile Res J, 2006, 76(5): 375-382.

[10] LIN J J. Applying a co-occurrence matrix to automatic inspection of weave density for woven fabrics[J]. Textile Res J, 2002, 72(6): 486-490.

[11] 王知鸷.基于纹理及光谱信息融合的遥感图像分类方法研究[D].西安：西安电子科技大学，2010:19-21. WANG Zhizhi. Research remote sening image classification based on texture and spectral information fushion[D]. Xi′an: Xidian University, 2010: 19-21.

[12] HU M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory, 1962, 8(2): 179-182.

[13] 张伟，何金国.Hu不变矩的构造与推广[J].计算机应用，2010, 30(9): 2449-2452. ZHANG Wei, HE Jinguo. Construction and generalization of Hu moment invariants[J]. Journal of Computer Applications, 2010, 30(9): 2449-2452.

[14] JANE You, KONG Waikin, ZHANG David, et al. On hierarchical palmprint coding with multiple features for personal identification in large databases[J]. IEEE Transactions on Circuits and Systems For Video Technology, 2004, 14(2): 234-243.

Lace retrieval method based on improved texture feature

CAO Xia1, LI Yueyang1, LUO Haichi2, JIANG Gaoming1, CONG Honglian1

(1. Engineering Research Center of Knitting Technology, Ministry of Education, Jiangnan University, Wuxi, Jiangsu 214122, China; 2. Key Laboratory of Advanced Process Control for Light Industry, Ministry of Education, Jiangnan University, Wuxi, Jiangsu 214122, China)

Conventional lace pattern retrieval mainly relies on the manual retrieval and text retrieval, while the text retrieval marks image by language description which leads to the unstable annotation information, low efficiency and unreliable retrieval results. This work marked image by texture pattern feature. A lace retrieval algorithm containing classification selection and classifier fusion by hierarchical matching was proposed, and it made up the deficiency of the single matching method. Three image-based methods, such as gray level co-occurrence matrix, gray level-gradient co-occurrence matrix and local binary pattern operator, were fused by means of geometry features and invariant moments for match-by-level, respectively. Experimental results indicate that the performance of fusion-based method is better than any single method, and it can achieve the lace retrieval and improves the reliability and accuracy of image retrieval effectively.

image retrieval; lace; texture feature matching; hierarchical matching; feature fusion; feature extraction

10.13475/j.fzxb.20160602807

2015-06-12

2016-01-06

中央高校基本科研业务费专项资金项目(JUSRP51404A，JUSRP211A38)；江苏省产学研联合创新资金-前瞻性联合研究项目(BY2015019-11，BY2013015-14)；江苏省高校优势学科建设工程资助项目(苏政办[2014]37号)

曹霞(1990—)，男，硕士生。主要研究方向为图像处理技术在针织上的应用。李岳阳，通信作者，E-mail： lyueyang@jiangnan.edu.cn。

TP 391.41

A