基于光学偏振成像的镜面反射分量分离算法

景元萍，彭群聂，税昌健

(1.洛阳理工学院数学与物理教学部,河南 洛阳 471000；2.光电控制技术重点实验室,河南 洛阳 471000; 3.拉瓦尔大学计算机工程实验室,魁北克 999040)

0 引言

由于复杂光源环境与目标表面材质等因素综合作用，成像过程中目标表面极易出现耀光、光斑等镜面反射光的干扰。镜面反射光分布面积广、强度不均匀，掩盖了目标原有的色彩纹理特征，严重影响目标检测、识别、跟踪、立体匹配等应用性能。现有视觉处理算法大多假定目标成像过程中为理想Lambertain表面，忽略镜面反射光的存在；或将镜面反射光视作噪声与异常值处理[1]，不可避免存在色彩细节失真、区域空洞等问题。因此,有效准确抑制分离镜面反射分量具有极大的研究意义和工程应用价值。

目前，针对镜面反射分量抑制分离的研究均集中于单幅图像的处理，依赖于先验信息、局部梯度、伪编码等一系列约束实现漫反射分量的估计。文献[2]利用局部邻域内像素梯度一致性约束，求解偏微分方程去除镜面反射光；文献[3]结合色彩分布统计特性和结构相似性形成能量方程最小化约束，求解漫反射分量与镜面反射分量；文献[4-9]研究利用暗通道先验、色彩空间等不同约束，构建漫反射-镜面反射(SF)先验策略，引导镜面反射分量的分离。文献[10-11]搭建深度CNN网络，通过大量的数据训练，实现图像漫反射分量的复原。以上算法对于特定场景下，均能取得一定程度的镜面反射分量抑制结果；但针对表面结构单一、纹理不显著的强反光目标，其依赖的先验、约束条件受到限制，结果极易出现大区域数据空洞、纹理细节丢失等问题，严重影响视觉效应。

1 基于光学偏振成像的镜面反射分量分离

1.1 本文算法

针对现有算法的缺陷，本文提出基于光学偏振成像的镜面反射分量分离算法。结合双色反射模型的偏振成像机理，探究体反射与镜面反射光的偏振特性差异，提出了基于Stokes参数的体反射强度反演机制；联合CbCr空间双色度矢量约束、最小二乘法遍历式进行反射系数求解，准确抑制分离镜面反射分量，高效恢复目标表面原有的纹理、边缘、色彩等细节特征，进一步提升视觉质量。算法不依赖于诸多假设、先验信息，物理可靠性高，场景适应性强。其算法流程如图1所示。

图1 基于光学偏振成像的镜面反射分离算法流程图Fig.1 Flow chart of the specular reflection separation algorithm based on polarization imaging

1.2 双色反射模型偏振成像机理分析

根据双色反射模型[12]，非均质目标表面发生的反射效应，其成像强度I可以描述为漫反射分量Id与镜面反射分量Is的线性组合，即

I(x)=Id(x)+Is(x)=ρd(x)D(x)+ρs(x)S(x)

(1)

式中:x为像素坐标；Id(x)=ρd(x)D(x)，Is(x)=ρs(x)·S(x),ρd,ρs分别为漫反射系数和镜面反射系数，与目标表面材质分布、理化特性(粗糙度)相关，D为目标表面的体反射强度，S为光源能量强度。鉴于中性界面反射假设[1]，自然场景下其可见光波段光源能量密度恒定，近似为白光，满足S=[255,255,255]T。

偏振成像特征统计表明[13]，目标成像过程中，其介质表面发生的单次镜面反射分量IS具有强起偏效应，近似为线偏振光；而由于目标内部多次散射消偏效应显著，其体反射强度D起偏效应微弱，可近似为无偏光。基于镜面反射与体反射的偏振特性差异，本文利用目标偏振成像，有效分离目标表面的镜面反射分量。

目标图像强度随偏振方位角φ呈余弦变化关系。其图像强度数学表达式为

(2)

式中:α为偏振相角；Imax，Imin分别为不同偏振方位角下，观测图像的最大和最小强度值，且对应两个偏振方位角相互正交。由以上分析可知，体反射可近似为无偏光，即表明体反射强度不随偏振方位角的变化而发生变化。结合双色反射模型与偏振成像机理分析，求取得到成像强度Imin后，可将其作为目标体反射强度D的有效估计，则有

D≈Imin。

(3)

1.3 基于Stokes参数的体反射强度反演机制

偏振成像测量中，Stokes参数作为一种有效的数学表示方法，常利用3个偏振方位角下的强度参数描述目标表面反射光的线性偏振态。本文对观测目标进行[0°,45°,90°]三角度偏振成像，其Stokes相关参数数学表达式为

(4)

式中:H为两正交偏振方位角的图像总强度，满足I(0°)+I(90°)=Imax+Imin；Q为水平方向上的线偏振光强度；U为45°方向上的线偏振光强度。

线偏振度PLP表征线偏振光强度在总光强中的占比，反映目标表面的起偏强弱效应。其Stokes联合参数表达式如下

(5)

联合式(4)～(5)，基于Stokes参数可解析得到目标的线偏振信息，进而反演得到目标图像的最大强度值Imax与最小强度值Imin，即实现目标表面体反射强度D的有效估计。其表达式为

(6)

(7)

现有镜面反射分离算法[4-9]依赖于色彩一致性、暗通道等众多先验信息估计体反射强度。当光源环境复杂、目标表面色彩纹理信息单一时，其不可避免存在色彩纹理失真、数据空洞等问题。不依赖于现有算法的先验假设，本文提出基于Stokes参数的体反射强度反演机制，仅利用目标成像的偏振信息进行反演，不受限于目标表面的色彩、纹理约束，物理可靠性高。

1.4 CbCr空间双色度矢量

基于Stokes参数反演机制能有效估计体反射强度。为进一步彻底分离镜面反射分量、抑制噪声等异常值干扰，本文构建CbCr空间双色度矢量约束，实现镜面反射分量的物理隔离。

将式(7)求解的体反射强度图像D归一化转换至YCbCr空间实现处理，其矩阵转换表达式为

(8)

式中:Ooffset=[0,128/255,128/255]T为归一化偏置参数;R,G,B为色彩通道。依据色彩空间转换特性研究[14]，YCbCr色彩空间中目标图像仅Y分量受镜面反射影响，Cb和Cr色度与镜面反射无关。基于此特性，本文以体反射强度图像D，构建其CbCr空间双色度矢量机制，表达式为

VD(x)=[DCb(x)，DCr(x)]T。

(9)

由式(9)可知，CbCr空间双色度矢量与镜面反射分量高度无关。即对于目标图像I，其对应的CbCr空间双色度矢量VI亦与镜面反射分量高度无关，同时与体反射强度图像D的双色度矢量VD应保持强度一致性分布。因此对于p,q分别为目标图像与体反射强度图像的两像素，满足约束

q=arg min||

(10)

不同于现有算法RGB空间色度估计策略，其三通道均受镜面反射影响，本文构建的CbCr空间双色度矢量实现镜面反射分量的高度无关。其物理隔离机制，有效解决现有算法RGB空间色度估计不准确导致噪声放大、边缘不连续等问题。

1.5 遍历式最小二乘反射系数求解

由1.4节可知，本文构建的CbCr空间双色度矢量实现了镜面反射分量的物理隔离，且体反射强度图像D的双色度矢量VD与目标图像I的双色度矢量VI保持分布一致性。本文联合CbCr空间双色度矢量约束，提出遍历式最小二乘法逐像素实现漫反射系数与镜面反射系数的快速求解策略，高效引导镜面反射分量的彻底分离。其算法过程如下。

1) 为进一步抑制过程中噪声等异常值的干扰，本文针对CbCr空间双色度矢量约束，融合了邻域分布相似性思想。对于像素p，遍历其像素局部邻域内体反射图像双色度矢量VD(q)与其目标图像双色度矢量VI(p)最接近的像素q，满足欧氏距离最小。即有

q=arg min||

(11)

2) 将像素q对应的体反射强度值作为目标图像中像素p体反射强度值的有效估计，即有D(p)=D(q)，代入双色反射模型，则有

I(p)=ρd(p)D(q)+ρs(p)S。

(12)

3) 利用最小二乘法对式(12)进行线性求解，其反射系数解为

(13)

式中,“-1”表示矩阵的伪逆。鉴于镜面反射系数具有非负性，若解得ρs(p)<0，则式(13)可转化为

ρd(p)=D(p)-1I(p)。

(14)

4) 对于求解得到的漫反射系数ρd(p)，其对应的漫反射分量强度表达式为

Id(p)=ρd(p)D(p)=ρd(p)D(q)

(15)

此时，对应的镜面反射分量强度即为

Is(p)=I(p)-Id(p)。

(16)

综上可知，本文利用CbCr空间双色度矢量进行约束，引导实现遍历式逐像素最小二乘反射系数的快速求解；同时，考虑局部邻域信息，有效抑制噪声等异常值干扰，其镜面反射分量抑制结果更为彻底，精确度更高，视觉效应更为优异。其算法实现步骤如下。

算法：基于光学偏振成像的镜面反射分量分离。

输入：目标偏振图像。

输出：镜面反射分量分离结果。

1) 根据式(4)～(5)，分别求解目标的Stokes参数[H,Q,U]，线偏振度PLP。

3) 构建体反射强度图像的CbCr双色度矢量约束：VD(x)=[DCb(x),DCr(x)]T,q=arg min||

5) 求解得到漫反射分量Id与镜面反射分量Is：Id(p)=ρd(p)D(p),Is(p)=I(p)-Id(p)。

2 实验分析及评价

为验证算法有效性和可靠性，本文对真实场景进行偏振成像，针对强反光目标进行试验探究。结合主客观评价指标，对镜面反射分量抑制效果、局部纹理细节还原度、色彩保真度及图像质量评价等方面定性分析，与文献[9]算法和文献[5]算法进行对比评价。其中：文献[9]算法以逐像素通道偏差估计漫反射分量的初始估计，联合像素聚类、邻域强度比值一致性先验区分漫反射分量与镜面反射分量；文献[5]算法利用伪编码图像，利用双边滤波进行漫反射色度最优估计。不同于上述两种算法的强度比值先验及伪编码图像约束，本文算法基于体反射与镜面反射的偏振特性差异，提出Stokes参数的体反射反演机制，准确实现镜面反射的抑制分离。

2.1 实验及结果

场景一(orange)中，目标图像镜面反射影响严重，具有高亮度、离散不均匀的分布特点。其相应镜面反射分离结果如图2所示。

图2 场景一镜面反射分离结果Fig.2 Specular reflection separation results of Scene 1

由图2可看出，由于文献[5]算法和文献[9]算法缺陷，对于表面色度单一、纹理缺乏的高反光目标，其镜面反射分量抑制分离结果存在大面积数据空洞、细节纹理模糊、色彩失真、噪声显著等问题；而本文提出的基于偏振成像的镜面反射分量算法结合偏振特性分析、结合双色度矢量约束，其镜面分量抑制分离准确、彻底，同时，目标表面的结构纹理完整性、色彩边缘得到极大程度保留，其细节更清晰、视觉效应更为优异。

场景二(cup)中，目标表面为高反射性涂层，成像过程中极易受耀光、杂散光等镜面反射的干扰。其对应的镜面反射分离结果如图3所示。

图3 场景二镜面反射分离结果Fig.3 Specular reflection separation results of Scene 2

针对场景二，文献[5]算法和文献[9]算法一定程度上有效抑制分离了镜面反射分量，但其结果出现明显的噪声放大、字符边缘畸变模糊、纹理细节空洞等问题；而本文算法结果中镜面反射分量整体抑制视觉效应更为优异，且色彩保真度、边缘纹理清晰度、字符辨识度更高。

2.2 定量评价分析

为进一步评价镜面反射抑制结果的图像质量，除以上的视觉效应对比外，本文结合无源图像质量评价机制CurveletQA[15]进行镜面反射抑制结果视觉质量的定量评价分析。CurveletQA描述复频域下图像特征信息的损失度。其值越小，代表图像纹理结构特征丢失度越小，图像质量越佳。针对上述两组测试场景，其评价结果如表1所示。

表1 CurveletQA图像质量评价结果Table 1 Image quality evaluation of CurveletQA

以上视觉效应和客观评价指标均表明，本文算法性能更为优异。利用镜面反射的偏振成像特性，构建CbCr空间双色度矢量约束，结合最小二乘法遍历式反射系数求解机制，实现了镜面反射分量的准确抑制分离；同时，极大地保留了目标表面原有的色彩边缘、纹理结构等细节特征。本文算法不依赖于诸多假设先验，物理可靠性高，场景适应性强。

3 结束语

镜面反射干扰一直是困扰检测、识别等视觉应用的难题。本文提出了基于光学偏振成像的镜面反射分量分离算法，结合双色反射模型的偏振成像机理，提出了基于Stokes参数的体反射反演机制；构建CbCr空间双色度矢量约束，结合最小二乘法遍历式求解反射系数，实现了镜面反射分量的准确抑制分离。算法不依赖于诸多先验假设，极大保留了目标表面原有的纹理结构、色彩边缘等细节特征，有效抑制了噪声的干扰。相比于现有算法，其镜面反射分量抑制效果及图像视觉质量更为优异。