近红外图像增强与彩色化算法＊

史 珂，郑鑫毅，汤春明，魏 鑫，张新新，杜月新，乐 娟

（天津工业大学 电子与信息工程学院，天津 300387）

近红外图像增强与彩色化算法＊

史 珂，郑鑫毅，汤春明，魏 鑫，张新新，杜月新，乐 娟

（天津工业大学 电子与信息工程学院，天津 300387）

提出了一种新的近红外图像增强与彩色化算法，先将近红外图像取反，然后用MSRCR算法处理取反后的RGB三个通道的图像，将处理后的RGB三通道灰度值分别拉伸合并成一幅新的图像，取反后用改进的导向滤波实现图像增强，用改进的BOF算法检索用于给近红外图像上色的彩色参考图像，接着采用Welsh算法对增强后的近红外图像分区域上色，再通过纹理匹配选取相似像素点，实现近红外图像的彩色化。实验结果表明，这种算法增强后的图像细节清晰，色彩传递效果好，且算法运行速度比较快。

近红外图像增强；彩色化；MSRCR算法；检索彩色参考图像

近红外图像的彩色化，是指将某个最相近的彩色图像的颜色特征传递给该近红外图像。我们首先需要检索与近红外图像具有类似特征的彩色参考图像，否则，传递后的彩色效果将难以保证。目前，在图像检索技术中，有许多比较成熟的算法，比如传统的BOF（bag of features）算法采用SIFT[6]描述特征点，使用K-Means或SVM分类器实现图像检索。为了提高SIFT算法对特征提取的鲁棒性，文献[7]提出了基于ROI提取结合金字塔匹配原理，但是，运算复杂度比较高。由于简单的应用K-Means和SVM实现的BOF算法拟合度和分类精度都不够高，因此，文献[8]利用使用概率，通过EM对BOF进行拟合。这样做虽然在一定程度上提高了精度，但对于具有复杂背景的图像仍然存在效率低和分类精度不高的缺点。本文针对BOF算法的不足，提出对于SIFT提取出的图像特征描述符通过PCA降维，以降低BOF算法的复杂度、提高运行效率、解决存储要求过高的算法；同时，引入用余弦夹角与巴氏距离共同度量待检索近红外图像与图片库中的图像相似度，以提高BOF分类的精度。

由于国内外暂时没有关于近红外图像彩色化的研究，因此，本文参考了Welsh提出的灰度图像彩色化的算法[9]，但是，由于该算法要遍历图像中所有像素，所以，此运算时间比较长，并且会产生一定的噪声，发生溢色的现象。鉴于此，本文提出了具有相似颜色的区域进行分块上色的方法，以加快运算速度。

1 近红外图像增强

本文提出的增强算法具体步骤如下：①A经过MSRCR算法处理后得到A’；②对获取的近红外图像A取反，得到B；③把B的RGB三通道分别用MSRCR算法进行滤波，得到R’，G’，B’；④对 R’，G’，B’分别进行灰度拉伸，得到 R’，G’，B’；⑤将 R’，G’，B’合并，得到 RGB 彩色图像再取反得到图像D；⑥把图像D与A’进行加权融合，得到图像E；⑦对图像E应用导向滤波，得到增强图像F。

2 参考彩色图像检索

2.1 Bag of Features（BOF）图像检索算法

在实际工作中，先采用SIFT算子对图像进行特征提取，得到大量特征，获得表达图像的关键词；然后采用K-Means聚类方法，将随机产生聚类中心定义为视觉单词，对得到的关键词进行聚类。但是我们发现，传统的BOF算法只采用余弦夹角度量图片的相似度，对图像的检测匹配率比较低，运算速度比较慢，所以，采用PCA降维和改进的BOF图像检测算法来提高检测匹配率，缩短运算时间。

2.2 改进的BOF图像检索算法

为了加快运算速度，我们对SIFT提取出的特征用PCA方法先降维；为了提高图像的匹配率，我们使用巴氏距离和余弦夹角共同度量待检索图像和图像库中图像的相似度。改进的BOF图像检索算法流程如图1所示。

图1 改进的BOF图像检索算法流程图

3 图像彩色化

传统的Welsh算法只能全局上色，效果不是很好。经过研究发现，在彩色参考图像和矩形图像块中传递颜色，然后用距离寻找相似纹理进行匹配，上色效果会有很大程度上的提升。首先我们用式（1）计算灰度图像区域Ng和彩色参考图像的矩形框区域Ns间的距离E：

式（1）中：I为灰度图像的亮度值；为灰度图像的平均亮度值；S为参考图像的矩形框S内亮度值；为参考图像的矩形框内平均亮度值；p为邻域像素。

通过式（1）寻找灰度图像中与已经上色的矩形框中像素之间E最小的像素进行颜色传递。

4 实验结果及分析

4.1 近红外图像增强与彩色化实验结果及分析

图2是对近红外图像彩色化的结果与对比情况，其中a1至a5是原始近红外图像，b1至b5是增强后的近红外图像，c1至c5是彩色参考图像，d1至d5是Welsh算法彩色化结果，e1至e5是本文算法彩色化结果。

图2 彩色化结果对比

由实验结果可知，改进算法克服了近红外图片经过Welsh算法处理后出现的颜色溢出现象，同时，有效过滤了高频与低频噪声，使得可视化效果增强。但是，由于我们所使用的近红外图像是在暗室中由近红外灯补光的条件下拍摄的，所以，原始图像的图像清晰度比较差，使得在近红外图像的某些区域上色效果有些不好。

4.2 近红外图像检索时间对比及分析

由于原始近红外图像清晰度不高，会使图像检索精确度下降，所以，本文选用增强后的图像作为待检索图像。原始近红外图如图3所示。实验选取256_ObjectCategories作为检索图像库，将图4作为待检索图像，表1展示了本文算法与其他算法在运算时间和匹配率方面的对比情况。从表1中可以看出，使用巴氏距离、余弦夹角度量的待检索图像与图像库中图像的相似度相比，图像检索的精确率大幅提升；采用PCA降维算法虽然会使图像检索的精确率小幅度下降，但是，大大缩短了运算时间。

5 结束语

本文提出了一种近红外图像增强与颜色传递算法，图像增强算法在Retinex基础上，使用了对近红外图像像素值取反补偿细节、灰度拉伸增强对比度、导向滤波滤噪来增强近红外图像的视觉效果。颜色传递算法在Welsh算法的基础上，通过指定多个区域上色，改变匹配纹理的算法，使颜色迁移更加准确，细节更加丰富，同时，加入导向滤波，使图像更加平滑，图像视觉质量提高。实验结果表明，本文算法对近红外图像有良好的增强附色效果，这对于改善近红外图像质量有重要的现实意义，在公安监控、农产品检测、医疗成像等使用近红外成像的领域有良好的应用前景。

图3 原近红外图像

图4 增强后近红外图像

表1 改进后的BOF图像检索算法与其他算法的时间与匹配率的对比

［1］Land E H.The retinex theory of color vision［J］.Scientific American，1977，237（6）：108.

［2］段群，吴粉侠，李红.双通道分块同态滤波彩色图像增强算法［J］.计算机技术与发展，2016（01）：82-85.

［3］陈超.改进单尺度Retinex算法在图像增强中的应用［J］.计算机应用与软件，2013，30（4）：55-57.

［4］刘家朋，赵宇明，胡福乔.基于单尺度Retinex算法的非线性图像增强算法［J］.上海交通大学学报，2007，41（5）：685-688.

［5］Wang S，Zheng J，Hu H M，et al.Naturalness Preserved Enhancement Algorithm for Non-Uniform Illumination Images［J］.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22（9）：3538.

［6］LOWE D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91−110.

［7］赵春晖，王莹，Masahide KANEKO.一种基于词袋模型的图像优化分类方法［J］.电子与信息学报，2012，34（9）：2064-2070.

［8］LEUNG T，MAILIK J.Representing and recognizing the visual appearance of materials using three-dimensional textons［J］.International Journal of Compute Vision，2001，43（1）：29−44.

［9］Welsh T，Ashikhmin M，Mueller K.Transferring color to greyscale images［C］//Conference on Computer Graphics and Interactive Techniques.ACM，2002：277-280.

［10］Iizuka S，Simoserra E，Ishikawa H.Let there be color!：joint end-to-end learning of global and local image priors forautomatic image colorization with simultaneous classification［J］.Acm Transactions on Graphics，2016，35（4）：1-11.

［11］Arbelot B，Hurtut T，Hurtut T，et al.Automatic texture guided color transfer and colorization［C］//Joint Symposium on Computational Aesthetics and Sketch Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering.EurographicsAssociation，2016：21-32.

［12］Arbelot B，Vergne R，Hurtut T，et al.Local texture-based color transfer and colorization［J］.Computers&Graphics，2016，62（12）：15-27.

［13］Wang X，Ge C，Cheng Y.Multi-source Local Color Transfer Based on Texture Similarity［J］.Chinese Journal of Electronics，2014，23（4）：718-722.

［14］Li Y，Li Z，Cao L.Neighborhood Similarity-Based Color Transfer Algorithm［M］.Springer Singapore：[出版社不详]，2016.

［15］Zheng Y.Multisensory data exploitation using advanced image fusion and adaptive colorization［J］.Proc Spie，2008，6968（11）：1294-1297.

［16］Zhang R，Isola P，Efros AA.Colorful Image Colorization［C］//European Conference on Computer Vision.Springer，Cham，2016：649-666.

TP391.1

A

10.15913/j.cnki.kjycx.2018.02.024

2095－6835（2018）02－0024－04

很多重要的夜视或低照度场景，比如军事基地、安全中心和交通要塞等，主要利用红外图像实现全面监控。红外图像反映了目标场景的热辐射信息，它主要是由目标场景的辐射率差和温差决定的。红外图像具有对场景亮度变化不敏感，以及对于目标具有良好的探测性等优点，所以被广泛应用。但是，研究发现，红外图像丢失了原有可见光图像的一些细节边缘和纹理等特征。于是，Stan．Z提 出 了 近 红 外（NIR）图像成像系统，NIR即波长范围为0.7～1.1 μm的光，它既具有红外成像的一些优点，又能保持一定的细节特征。然而，近红外图像依然存在对周围环境温度变化比较敏感、对玻璃的非穿透性等缺点，且由于实际获取图像时会受到外部环境，比如光照不足、光照不均、雾霾雨水等恶劣天气的影响，严重影响了图像的视觉质量，因此，我们需要对获取的近红外图像进行增强和彩色化，以便获得更好的视觉效果。

目前存在的近红外图像增强算法主要有基于直方图均衡、自适应的直方图增强算法和Retinex理论[1-5]等。其中，段群等[2]使用的同态滤波算法是依据Retinex理论，从频域的角度增强图像；陈超等[3]将双边滤波引入Retinex算法中；刘家朋等[4]提出了一种对亮度图像快速估计的Retinex图像增强方法；Wang S等[5]提出了保持图像自然特性的增强方法。Wang S提出的方法是先设计了亮通滤波器，将图像分为反射层和照射层，然后提出双对数变换法来求取照射光，以保持图像的自然特性。但是，由于对照射层估计不准确，导致最终的图像增强程度比较低，且颜色失真严重。由于近红外图像成像设备的问题，亮度过大的目标会失去细节特征，同时产生噪声，使图像视觉质量变差。当前存在的算法都不能很好地解决这2个问题。所以，本文提出了一种新的近红外图像增强算法，即通过对近红外图像进行取反、加权融合、灰度拉伸、导向滤波和msrcr算法的处理，完成对近红外细节的增强，改善近红外图像中目标过亮的情况，同时有效抑制图像中的噪声。

天津市第三批三年千人计划项目（编号：62014511）；天津工业大学引进教师科研启动项目（编号：030367）；国家级大学生创新创业训练计划资助项目（编号：201610058043）

史珂（1997—），女，本科生，研究方向为图像处理与模式识别。郑鑫毅（1993—），男，硕士研究生，主要研究方向为图像复原、图像的彩色还原。汤春明（1971—），女，博士后，教授，博士生导师，主要研究方向为图像处理与模式识别、视频中多目标识别与追踪，为本文通信作者。

魏鑫（1997—），男，本科生，研究方向为图像处理。张新新（1997—），男，本科生，研究方向为图像处理。杜月新（1997—），女，本科生，研究方向为图像处理与模式识别。乐娟（1997—），女，本科生，研究方向为图像处理与模式识别。

白洁〕