眨眼特征与颜色不对称立体图像视觉舒适度的相关性分析

张铠鸿，陈载清，陈建兵，黄小乔，邰永航，石俊生

(1.云南师范大学 信息学院，云南 昆明 650500;2.云南省光电信息技术重点实验室，云南 昆明 650500;3.云南师范大学 网络与信息中心，云南 昆明 650500)

立体显示技术作为能够提供更加真实立体视觉体验的新一代显示技术，已广泛应用于多个领域，具有很大的市场前景，是未来显示技术的主要发展方向[1-3].由于成年人左右眼的分布大约有 65 mm 的水平距离，使得被观测对象投射到左右视网膜上的图像具有轻微的差异，人眼视觉系统因此感知到立体感，这一视觉差异被称为双目视差(binocular).当前的立体显示技术主要通过分像技术向观看者的左右眼分别提供具有轻微差异的视差图像来产生立体感，但是这一过程极易造成视觉不舒适[4].

视觉不舒适一直被认为是阻碍立体显示发展和应用的关键问题[1,5].目前的立体显示技术在立体图像采集、制作、编码、传输及显示各过程中极易生成双目不对称信息[2]，从而导致立体显示观看视觉不舒适.不舒适的双目不对称信息主要包括形状的不对称、亮度的不对称与颜色的不对称[6].其中，立体图像的颜色信息作为左右视图的重要匹配线索，当左右图像颜色失真或不对称时，就不再是稳定线索，现实感知中的颜色一致性假设也不再有效，这加剧了观看立体内容时的视觉不舒适[7].在先前的研究中通过主观评价实验，得到了颜色不对称立体图像的视觉舒适度的主观评分，经过统计分析后发现随着左右图像色调不对称等级的逐渐增大，立体图像的视觉不适感随之加强，当左右视图的平均色调不对称等级达到76°时，观看者将感觉到视觉不舒适[8-9].

文中将基于眼动生理指标研究颜色不对称立体图像视觉舒适度的客观评价方法.对于立体图像视觉舒适度的评价，Qi等[10]通过提取立体图像的方向梯度直方图及局部纹理特征来表示双目的不对称性，并建立客观模型对视觉舒适度进行预测，另外Chang等[11]提出了一种基于膨胀卷积来模拟人眼视觉的多尺度特性评价方法评价立体图像的质量.文中试图使用眼动数据中的眨眼数据来对颜色不对称立体图像进行视觉舒适度客观评价.设计了一个立体显示下的眼球追踪实验，通过眼动仪记录了人眼观看不同等级颜色不对称立体图像时的人眼视觉特征，包括眨眼，注视，扫视，瞳孔直径等数据.其中眨眼是关闭和打开眼睑的基本功能，有多种肌肉分布在眼睛周围控制眨眼的反射，负责湿润眼睛和防止刺激.眨眼机制可能受到视觉刺激、眼睛损伤、药物和疾病的影响[12-13].Kim等[14-15]通过记录观看立体视频时的眨眼频率和眨眼持续时间等眨眼特征用于评估观看立体视频的时间与视觉舒适度的关系.研究发现随着观看立体内容的时间的增加，眨眼的频率变高，眨眼持续时间增长，视觉舒适感降低.Iana等[16]与Kim做了相似的研究， Iana得出了眨眼特征不仅与观看立体视频的时间有关，也与立体视频的内容有关，即立体视频内容的类型、亮度、颜色等会影响眨眼行为.因此，假设被试者在观看颜色色调不对称立体图像时的眨眼持续时间以及眨眼次数与视觉舒适度具有相关性.与Kim和Iana的研究不同的是，为了验证上述猜想，运用了一种主观评价与眼球追踪实验相结合的实验方法，并且将刺激呈现的时间控制在 10 s 这一较短时间，试图消除观看颜色不对称立体图像时，时间这一因素对视觉舒适度的影响，以得到更加可靠、稳定的实验结论.

1 实验

1.1 实验环境及设备

根据国际电信联盟标准[17]，实验全程在暗室中进行，在实验开始前，显示器及配套设备开机 2 h 进行预热.主要实验设备为:

1) 立体显示平台 立体显示平台是一台可分别为左右眼呈现不同视图的台式计算机，它的配置为英特尔 3.6 Ghz I7-7700 CPU、8G内存，显卡为NVIDIA Geforce GTX1080，包括一台23英寸三星S23A950D立体显示器(1 920×1 080 分辨率、120 Hz 刷新频率)和一副三星主动式立体眼镜.

2) 眼动仪 为了保证实验中记录的眼动数据的精确性，采用由SR-Research公司出产的EyeLink 1000 Plus视频眼动仪，其核心部件包括主机、红外高速图像采集端和安装支架.主机的功能是分析和记录双眼眼动数据，并通过网络连接，以高达 2 000 Hz 的速度将眼动数据实时输出到其他设备.该眼动仪不用在头部佩戴其他电子设备，能使被试者处于自然观看状态，并且能够同时追踪2只眼睛，从而对于捕捉眼部运动具有更好的鲁棒性，即使一只眼睛无法被眼睛跟踪器所获取，跟踪也能继续.

1.2 被试者

招募了20名云南师范大学健康学生作为被试者(12名男性，8名女性)，被试者的年龄在22岁到30岁之间，其中13名戴眼镜，7名不戴眼镜，被试者矫正视力均在1.0以上，且具有正常色觉和立体视觉，无屈光不正，无弱视斜视等眼科疾病.被试者均签署了实验知情同意书，试验符合《赫尔辛基宣言》规定的标准[18].

1.3 颜色不对称立体图像刺激

刺激内容采用先前研究中所创建的3D图像数据库[19]，其中包含6幅分辨率为 1 920×1 080 像素的原始立体图像作为颜色对称参考图像，每幅原始图像又在CIELAB颜色空间下生成9个不同级别的色调不对称立体图像.原始参考图像可区分为2种类型，一类为使用3D数码相机拍摄的3幅自然图像，另一类是从NVIDIA 3D图像库中选择的3幅计算机生成图像.因此，该3D图像数据库中总共有60幅立体图像，包括54幅色调不对称图像和6幅参考图像.相关资源代码和补充材料可前往https://www.researchgate.net/publication/339439218_Hue-asymmetry_stereoscopic_image_database下载查看.

1.4 实验过程

1.4.1 主观实验

如图1所示，实验过程为被试者呈现的立体图像包括一个参考序列(S1)，其左右眼视图为颜色对称的图像对，持续 10 s，一个测试序列(S3)，即左右眼视图为颜色不对称的图像对，持续 10 s，在测试序列到来之前设置一个中灰图像序列(S2)，测试序列结束以后也会设置一个中灰图像序列(S4)，均持续 3 s，目的是为了保证被试者的双眼得到足够的休息并消除观看图像后对眼睛的影响.每次测试过程时间持续 26 s，一共进行54次测试.为了避免长时间的实验导致被试者眼部疲劳从而影响实验结果，每次测试之前均保证被试者的眼睛在得到足够的休息之后再进行下一次测试.

图1 包含10个颜色色调不对称等级的立体刺激图像

图2 实验流程图

立体图像的视觉舒适度贯穿于整个视觉感知过程，在进行评价时，视觉舒适度作为一种主观感受，目前还没有相应的评价标准，有的研究人员倾向于使用类似图像质量评价的方法定制的舒适度量表来代替.为了测量颜色不对称立体图像的视觉舒适度，采用双刺激损伤量表(DSIS)的修正版本对前述立体图像库进行了视觉舒适度主观评价，如表1，量表分为5级(5：未感觉到色调变化，且视觉舒适；4：感觉到色调变化，但视觉舒适；3：感觉到视觉轻微不适，影响观看；2：感觉到视觉不舒适，有头晕、眼花等症状；1：感觉到严重视觉不舒适)[20].双刺激损伤量表法作为一种代替方法，可以在观看不同级别的色调不对称立体图像时得出更为可靠的结果.

由此得到了不同色调不对称等级下立体图像对应的视觉舒适度主观评分，并计算出每一幅颜色色调不对称立体图像的平均分数VCA(visual comfort assessments)：

(1)

其中A表示视觉舒适度主观评分，i表示被试者，h表示立体图像颜色色调不对称等级，j表示对应的图像，t表示实验次数，N表示被试者总人数.

1.4.2 眼球追踪实验

依照主观评价的过程，眼球追踪实验过程设计如下：

1) 所有参与者的客观实验都在避免了高强度用眼的情况下进行，以消除被试者因为眼睛本身的不适对实验造成影响；

2) 根据眼动仪手册，实验的每一部分都从校准程序开始，一次测试由一系列色调不对称立体图像对d1，d2，d2，…，dn组成，差异的排序被随机化，以避免学习效应；

3) 每次测试，刺激的呈现方式与主观评价实验保持一致.

2 结果与讨论

2.1 数据分析

主观实验参与者对不同颜色色调不对称等级的立体图像视觉舒适度评分结果如图3所示，随着色调差异的增大，立体图像视觉舒适度降低，这个结果和先前的研究结论相符[11].

图3 视觉舒适度主观评分分布图

采集眼动实验过程中S1和S3序列中眨眼持续时间以及眨眼次数数据作为分析对象.并对采集的数据进行滑动滤波处理，将处理之后的眨眼持续时间以及眨眼次数取平均值作为每名被试者在观看颜色色调不对称的立体图像时对应的平均眨眼持续时间以及平均眨眼次数，所有被试者的平均眨眼持续时间以及平均眨眼次数分布如图4所示.

从图4(a)中可以看出，在立体图像颜色色调不对称等级从20°增加到100°的过程中，随着色调不对称等级的增加，被试者的平均注视持续时间不断变长，但是当立体图像颜色色调不对称等级大于100°时，随着色调不对称等级的增加，被试者的平均注视持续时间不断降低.图4(b)显示平均眨眼次数随着立体图像颜色色调不对称等级的增加而增加.

(a)平均眨眼持续时间 (b)平均眨眼次数图4 被试者眨眼数据分布图

2.2 眨眼持续时间以及眨眼次数与视觉舒适度的相关性分析

为了进一步研究平均眨眼持续时间以及平均眨眼次数指标与视觉舒适度的相关性，对不同颜色色调不对称水平下的平均眨眼持续时间以及平均眨眼次数与主观实验中得到的舒适度评价分数VCA根据皮尔斯公式进行相关性分析：

(2)

图5 平均眨眼次数与视觉舒适度分数相关性分析

另外性别的不同以及是否佩戴眼镜对平均眨眼次数的变化产生的影响也需要进一步的分析，将被试者的平均眨眼次数指标按照男女，以及是否佩戴眼镜分组，并进行统计分析比较，结果如图6所示.并对数据进行方差分析，如表2所示.

(a)性别 (b)是否戴眼镜图6 眨眼数据分组对比

根据图6可以看出不同性别的被试者以及被试者是否配戴眼镜在观看色调不对称立体图像时的平均眨眼次数的变化趋势均与整体数据保持一致，且在观看同一色调不对称等级的立体图像时的平均眨眼次数没有显著性区别，表2所列的方差分析的结果也显示出p值均接近1，由此可以得出结论，被试者的性别以及是否佩戴眼镜并不会对文中的实验结果产生影响，平均眨眼次数与颜色色调不对称立体图像视觉舒适度的相关性研究具有普适性.

文中对不同颜色色调不对称水平下的平均眨眼次数进行方差分析(ANOVA)，方差分析结果显示不同色调不对称等级下平均眨眼次数F=42.776 4，p<=0.05，说明其在0.05水平下，总体均值是显著不同的,即立体图像颜色色调不对称的等级差异对视觉舒适度有影响，同时也导致观看色调不对称立体图像时的平均眨眼次数显著变化.图7给出了观看不同色调不对称等级立体图像时的视觉舒适度评分(VCA)和平均眨眼次数的变化曲线图.

图7 不同色调不对称水平下的平均眨眼次数与视觉舒适度主观评分曲线图

在图7中随着立体图像颜色色调不对称等级的增加，视觉舒适度逐渐降低，平均眨眼次数增加，这意味着在立体感知中，较大的双目色差会导致更强的视觉不适.为了得出更加可靠的结果,文章将各色调不对称等级对应的平均眨眼次数进行两两比较，以分析立体图像的色调对眨眼次数的影响.结果发现眨眼次数在立体图像色调不对称等级小于100°时两两比较的p值均小于0.05，具有显著性区别，当色调不对称等级大于100°时，色调不对称等级为120°与色调不对称等级为140°的平均眨眼次数，色调不对称等级为140°与色调不对称等级为160°的平均眨眼次数以及色调不对称等级为160°与色调不对称等级为180°的平均眨眼次数均不具有显著性区别.图4(a)平均结果显示眨眼持续时间以100°色调不对称等级为界限，变化趋势发生了改变.结合被试者的实验记录分析发现，这是因为当立体图像颜色色调不对称等级在20°到100°之间时，眨眼机制调节视觉不舒适的原因是增加眨眼的持续时间，所以随着色调不对称等级的增加，视觉舒适度降低，眨眼持续时间不断变长，但是增长幅度不大，使得平均眨眼持续时间与主观舒适度评价分数没有明显的相关性，而当色调不对称等级大于100°时，增加眨眼的持续时间无法缓解视觉不适感，于是眨眼机制通过频繁眨眼缓解视觉不适，眨眼次数因此增加，眨眼持续时间不断减少，因此色调不对称等级大于100°时，眨眼持续时间呈下降趋势.另外当立体图像的色调不对称等级达到120°时，被试者开始出现了双目竞争现象.在实验的过程中，记录了被试者出现颜色竞争现象的色调不对称等级，其中12名被试者在色调差异达到120°时开始出现颜色竞争现象，5名被试者在140°时会出现颜色竞争现象,另外3名被试者在160°时出现颜色竞争现象.这一结果说明当立体图像色调不对称等级逐渐增大到一定等级时，眨眼机制调节视觉不舒适的作用也随之到达极限，因此会导致色调不对称等级为120°、140°、160°以及180°时的平均眨眼次数数据不具有显著性差别.

2.3 基于眨眼次数的立体图像视觉舒适度预测

Rahimi-Nasrabadi H等[22]的研究证明了在应对不同的视觉刺激时，大脑皮层的神经元会释放出不同的信号，而眨眼反射则是这些信号的一种感知觉表征，在Nieder[23-24]以及Seppe[25]的研究中,感知觉的表征遵循心理物理学中的韦伯-费希纳定律,其表达式为：

E=klgI+C.

(3)

其中E表示为感知觉强度，k、C为常数，I为刺激强度，表明感知觉强度是刺激强度的非线性对数函数.本文根据韦伯-费希纳定律建立基于眨眼次数的颜色不对称立体图像视觉舒适度预测模型，用方程表示为：

f(x)=a0+a1lnx+a2ln(x)2+…+anln(x)n.

(4)

其中，x为观看颜色不对称立体图像时对应的平均眨眼次数，f(x)反映颜色不对称立体图像的视觉舒适度，lnx的幂级数展开式表示立体图像的视觉舒适度受多因素影响，an表示第n项的系数，可以根据眨眼次数进行拟合来确定.

如表3所示，当n=1,2时，R2均小于0.99，当n=3，R2大于0.99.故选择n=3进行回归分析，拟合结果如图8所示.基于眨眼次数的视觉舒适度预测模型如下：

(5)

根据给出的客观模型，当眨眼次数等于0时，认为视觉舒适度评分为100，通过计算，当 10 s 内眨眼次数大于9.99时，视觉舒适度评分低于60分，表明在观看色调不对称立体图像时大脑开始感觉到视觉不适.

表3 不同n的回归性能分析

图8 眨眼次数与视觉舒适度评分拟合曲线

3 结语

文中试图从眼动生理指标角度去评价立体内容的视觉舒适度.选用颜色色调不对称的立体图像进行了视觉舒适度的主观评价实验，并开展了记录眨眼数据的眼球追踪实验，通过对主客实验数据的分析，验证了在色调不对称立体图像的刺激下眨眼次数与视觉舒适度呈高度负相关关系，并且给出了基于眨眼次数的立体图像视觉舒适度客观评价模型，最终结果给出，观看颜色色调不对称立体图像 10 s 内平均眨眼次数超过9.99次时，大脑开始感觉到视觉不舒适.研究结果可为立体显示的视觉适度评价提供借鉴，对立体显示内容生产和立体显示技术发展有一定的指导意义.

在实际应用中, 眨眼的次数经常受到观看时间的影响.为了避免观看时间过长造成的疲劳对结果产生影响，实验仅改变图像中色调的变化，所有刺激持续时间控制在 10 s 这一较短的范围内，以后的工作将继续研究观看颜色不对称立体图像时长与眨眼数据的关系.