基于改进极限学习机的颜色校正模型

刘继红,黄根银,郭思宇,师 艺

(西安邮电大学 电子工程学院,陕西 西安 710121)

色差是彩色印刷行业评价产品质量的一项重要技术指标,随着人工智能技术的快速发展,利用机器视觉代替传统人工目视检测色差逐渐受到人们的关注[1]。但是,由于机器视觉系统的频谱传输特性与人眼不一致,导致采集的图像存在颜色失真,在计算色差之前需要对图像进行颜色校正,才能保证色差检测的精度[1-3]。

目前提出的颜色校正模型一般都是通过建立图像颜色和被检测物真实颜色之间的映射关系实现的。其中,多项式回归模型和人工神经网络模型是最具有代表性的两类模型。多项式回归模型是较早提出的一类颜色校正模型,在数码相机颜色管理工程[4]和舌色图像校正[5]等应用中已经取得了较好的效果。例如,文献[6]提出的根多项式回归模型能校正曝光变化引起的颜色失真,文献[7]利用自动分段方法,进一步提高了多项式回归模型的精度和泛化能力,但是,现有的多项式回归模型的精度仍然难以满足微弱色差检测的需求。为了满足微弱色差的检测需求,近年来具有非线性映射能力的神经网络颜色校正模型引起了广泛关注,开始提出的神经网络模型都是结合后向传播(Back Propagation,BP)算法和其他互补算法实现的[8-9],目前报道的模型则以卷积神经网络为主,具有更强的颜色空间映射能力,但是,这种校正的卷积神经网络模型需要数目庞大的训练集,且训练过程相对复杂[10-11]。

针对卷积神经网络模型存在的问题,文献[12]提出了一种基于极限学习机(Extreme Learning Machine,ELM)的组合策略。和BP神经网络、卷积神经网络相比,ELM的结构简单,可快速训练,但由于随机初始化输入权重和隐藏层节点偏置,存在模型性能不稳定的问题。

为了提高ELM模型性能的稳定性,拟对经典的ELM模型进行改进并应用于颜色校正。改进模型基于经典的ELM,在其训练过程中融入具有全局最优化搜索能力的遗传算法(Genetic Algorithm,GA),改善随机初始化参数导致的性能不稳定问题。进一步,借鉴文献[13-14]中结合自适应机制(Adaptive Mechanism,AM)和模拟退火算法(Simulated Annealing,SA)的思路,改进GA全局最优化搜索性能,设计一种自适应模拟退火遗传算法优化的极限学习机(Adaptive Simulated Annealing Genetic Algorithm-based Extreme Learning Machine,ASA-GA-ELM)颜色校正模型,以在保持结构简单、训练快速优点的同时,实现参数全局优化搜索,并提高颜色校正精度。

1 ELM模型与全局优化算法

1.1 ELM模型

ELM是一种由输入层、单隐藏层和输出层组成的前馈神经网络[15],其结构示意图如图1所示。图中,xi(i=1,2,…,L)表示第i个输入变量;yn(n=1,2,…,N)表示第n个输出变量;wij(j=1,2,...,M)表示第i个输入层节点到第j个隐藏层节点的输入权重;bj表示第j个隐藏层节点的偏置,它通过随机初始化或人为给定,且不需要更新;βjn表示第j个隐藏层节点到第n个输出层节点的输出权重,训练过程仅计算输出权重,因此,ELM是一个线性参数模型,其训练过程易于在全局极小值收敛[15]。

图1 ELM模型网络结构示意图

ELM模型标准算法采用如下步骤进行训练。

步骤1训练开始时,随机设定输入权重wij和隐藏层节点偏置bj。

步骤2根据设定的参数计算隐藏层输出矩阵,并求解其对应的广义逆矩阵。

步骤3利用广义逆矩阵计算输出权重βjn,使得误差函数最小。

1.2 GA和SA全局优化算法

GA和SA是改进ELM模型将要用到的两种全局优化算法。其中,GA算法是一种随机全局搜索算法,其模拟自然选择和遗传中发生的复制、交叉和变异等现象,通过选择、交叉和变异操作,产生一群更适合环境的个体[16]。提出的ASA-GA-ELM颜色校正模型主要利用GA对ELM的输入权重和偏置实施全局最优化搜索。

SA算法也是一种随机搜索算法,其思想为借鉴金属的退火过程,当金属由高温变成低温时会遍历所有可能的结果,从而筛选出最优解[17]。在SA算法遍历所有解的过程中,除了接受“好”的解以外,还按照Metropolis准则接受不好的解,从而增加找到最优解的可能性。利用SA算法的这一特性能够防止遗传算法出现“早熟”和后期收敛速度慢等问题。

2 ASA-GA-ELM模型设计

ASA-GA-ELM模型的设计主要包括两步。首先利用AM和SA改进GA的选择、交叉和变异操作,然后,把改进后的GA融入ELM的训练过程,得到新的模型训练算法。

2.1 改进GA算法的选择操作

对GA中个体的适应值f进行变换,其变换方式为[13]

(1)

式中:fmax和fmin分别表示当前种群的最大和最小适应值;k为当前的迭代次数;kmax表示最大迭代次数;a为大于0的常数。

2.2 改进GA算法的交叉和变异操作

根据种群样本差异性和个体差异性自适应调整交叉率和变异率,以实现增大种群多样性和提高收敛速度的目的。

种群样本差异性E1和个体差异性E2可以被分别表示为

式中,favg表示当前种群中个体的平均适应度。

定义变量z为

式中:e1为截止到当前迭代过程,E1的最大值;Emax和Emin分别表示本次迭代中E2的最大和最小值。

利用随遗传迭代过程变化的变量z调整交叉率Pc和变异率Pm[13],其计算表示式分别为

Pc=b(1+z)

(2)

Pm=c(1+dz)

(3)

式中,b、c和d均为常数。

另外,在交叉和变异操作过程中,采用SA算法中的玻尔兹曼机制接受新个体,设定交叉劣化允许率为[14]

式中:fnew和fold分别表示新个体和老个体的适应值;T表示当前温度。

2.3 ASA-GA-ELM模型训练算法

设计的用于红、绿、蓝(Red Green Blue,RGB)3通道彩色图像颜色校正的ASA-GA-ELM模型的训练算法流程图如图2所示。训练开始后,首先,随机选择隐藏层节点的初始输入权重和偏置;其次,执行改进的GA选择、交叉和变异操作,搜索输入权重和隐藏层节点偏置的全局最优值;再次,依次计算输出层权重和误差函数值;最后,根据误差函数值大小判断继续优化或结束训练。

图2 ASA-GA-ELM模型的训练算法流程

从图2可以看出,与训练ELM模型的标准算法相比,这里在每次训练时都执行改进的GA选择、交叉和变异操作,搜索输入权重和隐藏层节点偏置的全局最优值。当应用于RGB3通道彩色图像颜色校正时,ASA-GA-ELM模型的输入、输出层节点数均为3,隐藏层节点数由具体应用确定,激活函数采用Sigmoid函数,误差函数为训练集中所有图像颜色校正后与对应标准颜色色差的均值,在训练算法中其目标值为0.01。

3 实验与结果分析

为了验证所提ASA-GA-ELM模型的性能,采用Matlab对使用机器视觉系统采集的色卡图像集进行测试。实验中机器视觉系统中的工业相机和镜头分别为海康威视的MV-CS200-10GC和维视智造的BT-23C2514MP,其中,相机的拜尔插值模式设置为“最优”,且关闭自动白平衡和自动增益功能。照明光源采用亮度可调节的环形LED光源和D65光源。

首先,基于标准色卡构建图像颜色校正数据集,训练ASA-GA-ELM模型并确定隐藏层节点数。其次,使用训练好的模型校正图像颜色,分别从目视主观评价、与其它模型比较两个方面验证ASA-GA-ELM模型的颜色校正效果。最后,通过调节照明光源亮度和更换光源类型,验证ASA-GA-ELM模型的鲁棒性。

3.1 构建数据集

使用U版Pantone色卡集构建数据集,以所有2 161种色卡颜色的RGB值作为标准颜色值,以机器视觉系统采集色卡图像的RGB值作为待校正颜色值。

U版Pantone色卡集中的颜色按色系依次排列,等间隔选取1 080种色卡,采用其RGB值和所采集图像的RGB值构成数据集,随机选取其中的80%作为训练集,另外的20%为验证集。

3.2 确定校正模型隐藏层节点数

根据构建的数据集,通过训练和验证测试确定ASA-GA-ELM模型的隐藏层节点数。设定种群数n=100,最大迭代次数kmax=100,降温速率为0.8。设定式(1)、式(2)和式(3)中的a、b、c和d分别为0.6、0.5、0.001和4时,ASA-GA-ELM模型在测试集上的色差均值随隐藏层节点数的变化如图3所示。可以看出,当隐藏层节点数大于30后,模型性能趋于稳定。因此,以下实验中ASA-GA-ELM模型的隐藏层节点数均设置为30。

图3 色差均值随模型隐藏层节点数的变化

3.3 校正效果的主观评价

图4给出了随机选取的16种色卡图像的颜色校正的主观评价结果。其中,图4(a)和图4(b)分别为机器视觉系统采集的原始图像和用ASA-GA-ELM模型校正之后的图像,而图4(c)是由色卡标准颜色值生成的图像。

图4 颜色校正的主观评价结果

观察图4可见,采集的图像经过校正之后,其颜色更加接近标准色卡的颜色,视觉上能感受到色差明显减小,残余色差比较微弱。实验中随机选取更多的色卡观察,均有类似图4所示现象,表明ASA-GA-ELM模型具有在全色域上校正颜色失真的能力。

3.4 校正效果的客观评价

从数据集剩余的1 081种颜色中随机选取5组、各216种颜色作为测试集,每组重复3次实验,色差计算使用CIEDE2000公式[18]。校正前测试集中各样本的色差如表1所示。全部样本的色差都大于3 NBS,且平均色差大于12 NBS。可见,机器视觉系统采集的图像存在明显的颜色失真,计算色差前需要进行颜色校正。

表1 测试集校正前的色差统计结果

接下来,使用ASA-GA-ELM模型校正测试样本的颜色,计算校正后的色差。同时,与多项式回归模型[5]、BP神经网络模型[8]、ELM模型[12]进行校正性能对比。其中,多项式回归模型为3次20项、BP神经网络是单隐藏层且节点数为7、ELM模型的隐藏层节点数为90。对比模型的参数都为在相同训练集和验证集上的优化结果。对测试集使用4种方法校正颜色后的色差统计结果如表2所示。

表2 测试集校正后的色差统计结果

由表2可以看出,和表1测试集校正前的色差统计结果所示色差对比, 4种方法都具有在全色域上的颜色校正能力,其中,ASA-GA-ELM模型把色差的4项统计参数值依次降低到了校正前的14.40%、37.05%、35.41%和11.98%。和其他校正模型相比,ASA-GA-ELM模型除最大色差比BP神经网络模型稍大外,色差均值和标准差均为最小,且色差大于3 NBS的占比明显减小。根据人眼视觉感知与色差的关系[19],当色差值小于3 NBS时,属于微弱色差,说明ASA-GA-ELM模型在全色域上具有更好的泛化能力。这是因为,颜色校正是复杂的非线性问题,ASA-GA-ELM模型比多项式回归模型具有更强的非线性逼近能力。另外,利用自适应模拟退火遗传算法能够得到最优的ELM初始权重和偏置,从而避免了BP神经网络模型对初始权重和阈值敏感以及ELM模型随机初始化参数导致的性能不稳定等问题,提高了模型颜色校正的精度。

对图4(a)与图4(c)、图4(b)与图4(c)中对应位置图像之间的色差进行计算,将计算结果分别用色差矩阵A、矩阵B表示。色差矩阵A、矩阵B分别为

由矩阵A和矩阵B可以看出,两个矩阵中元素的数值分别与表1和表2的统计结果相吻合,且色差值与目视感受基本一致,进一步证明了校正模型的有效性。

3.5 模型鲁棒性测试

通过改变机器视觉系统照明光源亮度以及更换光源类型验证ASA-GA-ELM模型的鲁棒性。照明条件改变后重新采集色卡图像,保持模型超参数不变,训练后校正图像颜色。设定表2所示结果的照明亮度为1,改变照明条件,照明条件变化时的校正结果如表3所示。

表3 照明条件变化时的校正结果

由表3可以看出,当分别把照明亮度显著调暗为0.83或调亮至1.16时,测试集上校正后的色差均值、最大值和标准差都有所增大,但是,和校正前的色差表1相比,仍有明显的校正效果。在把光源更换为D65后,色差均值略增大,但是校正的标准差更小。以上结果证明ASA-GA-ELM模型能适应照明光源亮度在一定范围内变化以及光源类型更换。

4 结语

为了提高机器视觉系统颜色失真的校正精度,采用AM和SA改进了GA的选择、交叉和变异操作,把改进后的GA融入ELM模型训练算法,提出了一种ASA-GA-ELM颜色校正模型。在Pantone色卡U版数据集上的颜色校正实验结果表明,所提出的模型能够有效校正颜色失真,校正后的图像色差显著减小。在相同的测试集上,校正后图像色差的平均值、标准差和色差大于3NBS的占比都更小。另外,调节照明光源亮度和更换光源类型的测试结果表明ASA-GA-ELM模型具有良好的鲁棒性。由于是全色域颜色校正,仍有一定比例的图像色差大于3 NBS,因此,在下一步工作中将研究全色域和局部色域校正相结合的多级ASA-GA-ELM模型,进一步提高颜色校正精度。