基于多特征信息融合的彩色图像复杂度研究*

冯丹青，陈 亮

（陆军工程大学，江苏 南京 210007）

0 引 言

复杂性是客观存在固有特征的主观反映，是衡量图像分析或处理时难度的指标[1]。对于图像复杂度而言，如若图像色彩越丰富，纹理越杂乱，形状越多样，其直观感受的信息量越多，复杂度越高。学者根据实际应用从不同角度给出复杂度计算方法，但是目前并没有统一的计算公式。高振宇等人[1]提出了用图像的信息熵、边缘信息和纹理等相关因子来分析图像的复杂度，最后用等权重系数加权求和来计算图像的复杂度值。Mario等人[2]通过对图像边缘层百分比的分析来确定图像的复杂度，并通过间隔映射函数得到具体数值。陈燕芹等[3]则基于图像纹理，利用BP神经网络构造评价模型，得到具体复杂度数值评估图像。综上所述，图像复杂度可以从不同角度阐述，可细分为颜色复杂度、纹理复杂度和形状复杂度，归根究底就是描述图像内容丰富程度的物理量[4]。但是，上述文章均是基于灰度图像的复杂度分析，大都从颜色、纹理或形状单方面进行评判。

本文基于视觉敏感度，探索彩色图像的复杂度与颜色熵、能量、对比度、相关性、同质性和边缘比率六个特征之间的关系，应用神经网络、遗传优化等相关，成立多特征信息融合的敏感度模型，并定义复杂度的图像数学理论，为图像、视频等通信技术关于复杂度的影响与应用奠定基础。

1 图像复杂度

图像复杂度由图像本身内在属性决定，涵盖了图像内在价值、表现形式和处理难度，是图像的综合指标。主观评价以人为主，受制于人的知识见解等因素，而客观评价的标准则建立在主观评判之上，所以两者相互依存，紧密联系。

1.1 主观评价

主观评价是人作为主体对待评价图像进行评分的过程，该评价以人眼视觉系统为基准，直观简单，但是受限于主体对象和外界环境。整个过程中，人眼受到刺激，察觉到图像的存在，这是浅层次过程，识别、判断图像则是深层次过程，最后通过主体反应得到复杂度。可以理解为，主观评价是图像的外在复杂度和内在复杂度的结合，对应人认知过程和理解过程。

目前主流的主观评价基本是基于人眼视觉系统选择定量评价者，按照评价者的主观意识对图库里的图像进行打分，根据分数计算方法得到该图库的图像复杂度。比如，王[5]等人在主观评价实验中通过人眼视觉系统将图像复杂度分成3个等级，定义低等、中等和高等复杂度图像的复杂度值评分范围，评价者按照范围进行独立判断。多次实验后，用均值法计算出人眼视觉对一幅图像复杂度的评分。本文图像复杂度基于主流划分方法分成三个等级，其划分标准如下表1所示。

表1 图像复杂度f级别

1.2 客观评价

当机器替换了人，评价模型取代了人眼视觉系统，此时运算得到的评价称为客观评价。与主观评价不同，客观评价全程借助计算机进行，其准确性依赖于复杂度评价模型。目前，客观评价基本从整体、区域和目标角度出发，其中整体复杂度奠定图像基调，区域复杂度则是图像的局部分析，而目标复杂度针对图像中特定事物，是图像的细节展示。

本文基于视觉敏感度，将待评价图像进行基于颜色、纹理和形状三方面的特征提取，考虑到选取的特征需要反映出该图像的复杂程度，因此选择了颜色熵、能量、对比度、相关性、同质性和边缘比率六个特征，然后根据多特征信息融合建立复杂度评价模型，最后得到复杂度数值。

2 图像复杂度特征提取

2.1 颜色特征提取

颜色特征是图像最基本的特征[6]。根据人眼视觉系统，图像的颜色越丰富，其复杂度就越大。颜色熵作为度量颜色多样性的特征，其反映了图像的颜色种类，因此本文选择颜色熵作为图像整体的特征，依照组合论的原则得到公式（1）[7]。其中，K代表图像的颜色数量，Pi代表了第i种颜色值在图像中出现的频率。

现实生活中，RGB彩色模型使用广泛，但是对于人眼视觉系统而言，最自然且直观的是HSV彩色模型[8]。该模型由色调（H），饱和度（S）和明度（V）组成，它们通过方程式组（2）～（4）[9]沿着灰色轴使用RGB彩色立方体获得。

在HSV彩色模型中，通常存在颜色由多维变成一维的量化过程，该过程能够减少计算复杂度和降低存储成本。在本文中，选择非等间隔处理方法[5]，即分别对三个分量h、s、v进行划分，其中h被量化为16个等级，s被量化为4个等级，同样v被量化为4个等级。基于人眼视觉系统，色调、饱和度、明度的重要性依次递减，所以三个分量对应不同的权重，最后合并成一维特征向量。通过以上步骤，模型把颜色这一特征量化至256级的空间。其具体量化过程如下式组（5）～（8）：

2.2 纹理特征提取

图像的结构特点反映在纹理上[10]，本文选择选择灰度共生矩阵里的能量、对比度、相关性和同质性四部分进行特征提取[11]。灰度共生矩阵g(i,j,d,θ)中，i、j作为两像素的灰度值，d规定了两者的距离，θ规定角度。一般情况下，θ∈ {0°,45°,90°,135°}，此时d∈{(0,d),(d,d),(d,0),(-d,d)}。

能量J反映了纹理厚度，当纹理越粗时，J值越大，图像的灰度均衡度越高。

对比度D对应着图像的清晰程度，沟纹的深浅决定了视觉清晰度的高低。

相关性C衡量了矩阵在行、列两向元素的相似度，是局部灰度相关性的体现。C值越大，该矩阵元素数值越匀称。其中，μ1、μ2代表矩阵的行列的均值，σ1、σ2代表矩阵的行列的均方差。

同质性Q诠释了纹理局部变化，其度量着矩阵元素到对角线紧密度的分布情况。Q值越大，矩阵局部越平均，其变化越少。

当θ∈ {0°,45°,90°,135°}，赋予不同方向的权值δ，这样纹理特征与方向无关：

2.3 形状特征提取

在空间状态中，形状作为图像的重要特征，其代表了线条封闭的区域[12]。图形特征表述依赖于图像的轮廓边界，本文选择Canny边缘检测。上世纪80年代末，Canny[13]初次定义该检测算子，其满足下面3个条件：

（1）低误判率检测边缘，尽可能捕获图像边缘；

（2）定位精度高，检测得到的边缘点需位于在真实边缘的中心；

（3）图像中给定的边缘应只被标记一次，抑制虚假边缘。

首先，图像预处理：选择高斯滤波器展开平滑滤波，以此去除噪声；继而使用一阶差分算子计算图像的梯度大小和方向，此时对梯度大小采取非极值抑制，去除检测引起的杂散响应；最终采用双阈值递归检测确定边缘点来完成边缘提取。正是Canny算子采用双阈值方法得到强弱两边缘，只有强弱边缘相接联，弱边缘才会包含在最后的边缘提取中。此方法易检测出真实的弱边缘。

通过Canny边缘检测后，采用边缘比率公式14定量分析形状特征，分母是图像行列数乘积，分子Pcanny代表边缘像素数。一般情况下，边缘比率越高，图像复杂程度越高，反之亦然。

3 多特征信息融合的复杂度敏感模型

3.1 基于遗传算法的BP神经网络

BP神经网络[14]的学习就是通过不断调整神经网络权值直至获取误差函数最小值的过程。BP神经网络可以分为输入、隐层和输出三层，层间全部连接，层中的神经元不会相互干涉。在前向传播过程中，输入信息依次经过输入层、隐层至输出层，最后完成输出。然后遵循降低理想输出和现实输出之间差值的理念，从输出层逆向传播，逐层修改连接权值，直到达到所需目标。

BP神经网络在未知条件下，利用输入、输出矢量训练，能够逼近所求函数，得到科学有效的指标权重。值得注意的是，隐含层的层数、各层的神经元数量需要视实际设定，其性能随着结构的改变而改变。同时，初始权值和阈值的抉择值得思考，这部分参数决定了网络的收敛效率，因此在初始值这部分加入遗传算法，优化BP神经网络，以便得到更优的预测值。基于遗传算法“全局最优”的特征[15]，利用个体形成网络的初始权重及阈值，获得初始化网络预测误差，以形成个体的适应度值，经历选择、交叉或变异不同操作寻找最优个体，得到网络最终的初始权重及阈值。

3.2 评价指标体系

本文主要考虑图像复杂度的影响因素，基于颜色、纹理和形状三方面评价，其指标如图1所示。

图1 评价指标分类图

3.3 神经网络结构

根据上述的评价指标体系，确定神经网络输入层具有六个处理单元，并且输出层具有一个处理单元。关于隐含层的层数，考虑到单层隐含层的BP神经网络基本涵盖了任意维数之间的映射问题，本文采取常规三层结构，保证计算效率。而隐含层的神经元数量，由于层中神经元越多越容易收敛，但过多的数量只会增加计算量，因此本文根据网络大小确定数量为六。该神经网络的具体结构参数如表2所示。

表2 图像复杂度神经网络参数

4 实验及结果分析

4.1 实验

选取220张彩色图像进行主观评价，得到的评价分数均值就是最终的图像复杂度值，并将图库划分成复杂、中等和简单三部分。图2给出了图库中部分图像主观复杂度评价分数数据集，在此基础上进行网络的训练。

图2 部分图像主观分数数据集

神经网络的建立可得到神经元之间的关系，但是输入层与输出层对应关系，即各项评价指标权值需要在神经元的基础上处理分析[16]，其过程如式（15）～（17）所示。其中，i=1…m，j=1…n，k=1…p分别作为输入、输出和隐层三层的神经元，ωjk为隐层神经元k同输出神经元j的权重，ωki为输入神经元i同隐层神经元k的权重，Sij为绝对影响系数即评价指标权重。

按照式（15）～（17），获得本文的各项评价指标权重，数值见表3。

表3 图像复杂度评价指标权重

各项评价指标权重作为敏感因子λ组成评价指标体系，最终图像复杂度敏感模型的数学公式为：

4.2 结果分析

神经网络建成后，选择彩色图像进行测试，图3为部分测试图像。选用文献[2]中的人类视觉复杂度相关数据，和文献[3]基于图像纹理的BP神经网络评价方案得到的结果作为参考，验证本文复杂度计算的有效性，其结果如表4所示。

图3 部分测试图

表4 不同图像复杂度评价体系对比表

由表4可知，本文算法下的测试图片主客观评价等级一致，同时复杂度与视觉复杂度较为吻合，大部分数据优于文献[3]，结果证明该方法是正确的。由于该方法不受限于人的观察影响，与视觉复杂度具有相关一致性，该算法适用于彩色图像复杂度度量的应用。

对图像就局部分析，以图3（b）Lena图为例，图像分块处理，得到64*64的子块，并完成所有子块复杂度计算。已知Lena图像隶属中等复杂度图像，主观复杂度为0.52，本文整体复杂度为0.386 4。表5展示了该图像子块复杂度的分布情况，其中一半以上子块隶属于中等子块，三分之一左右的子块从属于简单子块，只有约10%的子块属于复杂子块。其中，图像全部子块的均值为0.438 4，与整体复杂度相差不大，同属于中等类别。这验证了图像的整体复杂度是局部复杂度的基础，而局部复杂度也会影响整体复杂度。

表5 图像子块复杂度分类表

为了更好的理解整体、区域和目标之间的关系，图4展示了图像子块类别对照图。根据人眼视觉系统，绝大多数子块属于中等类别，敏感的视觉系统能够接收到子块颜色的转变、形状的划分和凹凸不平感；背景中的部分平缓子块颜色无突兀，纹理不明显，主客观评价一致为简单子块；而图像中女士帽檐装饰物那部分主观评价属于复杂类别，与对应的客观评价一致。通过图4，证明了该复杂度敏感模型符合人眼视觉系统。

图4 图像子块类别对照图

5 结 语

本文基于人眼视觉系统，从彩色图像出发，综合颜色、纹理、形状三方面，提取颜色熵、能量、对比度、相关性、同质性和边缘比率六个特征，选用遗传算法优化的BP神经网络，构建了基于多特征信息融合的彩色图像复杂度敏感模型。同时，通过BP神经网络得到各评价指标权重，建立评价指标体系。实验结果表明，针对整体、区域、目标不同方面，该图像复杂度敏感模型均与人眼视觉系统一致，且评价指标体系能够准确地阐述彩色图像的复杂度，为图像、视频等通信技术在复杂度的后续研究提供了理论支撑。