基于运动检测的图像去模糊算法

吴 庆，肖 力，孙志刚

( 华中科技大学自动化学院信息所，湖北 武汉 430074)

0 引 言

去运动模糊在机器视觉领域一直是一个重要且困难的问题，同时也是一个热门问题。由于在相机曝光期间，拍摄物体和相机之间发生了相对运动，从而造成拍摄的图像模糊。

图像模糊的一个简单的数学描述为:B=I⊗k+n，其中，B 代表模糊图像，I 代表清晰图像，k 代表空间不变的模糊核，n 代表加性噪声，⊗代表空间卷积运算。

去运动模糊的方法可以分为两类:非盲去模糊(Non-blind Deblurring)和盲去模糊(Blind Deblurring)。非盲去模糊是已知运动或者模糊核的情况下消除模糊效果;而盲去模糊采用了同时求解模糊核和清晰图像的方法。从一幅模糊图像同时估计两个未知量本身就是一个病态(ill-posed)问题，需要基于很强的先验知识。

文献［4］中Fergus 等人基于自然图像梯度的统计信息和变分贝叶斯方法，在单幅图的复原中取得了较好的效果，但是参数估计致使速度很慢，而且对有些大模糊核的图复原结果不够稳定。在此基础上，Qi Shan 等人在文献［5］中针对振铃效应(Ringing Artifacts)的产生进行了分析，并提出了全局先验和局部先验，在模糊核估计的准确性和对振铃效应的抑制上都取得了更佳的效果，但算法收敛速度不够快，且参数的设置对结果有较大影响，时间复杂度较大。

近两年来，基于硬件的去模糊方法也有所发展。文献［1-2］都提出了一种基于惯性测量单元(Inertial Measurement Unit，IMU)的图像去模糊方法，从IMU恢复相机的运动轨迹，进而根据运动轨迹得出图像的模糊核，最终完成非盲去模糊。

本文主要研究一种基于运动检测的图像去模糊算法，利用相机曝光期间的运动信息来获取图像模糊核，进而复原出相对清晰的图像。

1 相机成像模型及其数学表达

大多相机都依据小孔成像原理，根据文献［3］，由物点坐标到像素坐标的转换公式为:

将其转换为齐次形式得:

由于图片的坐标原点并非在主点处，而是在图像的左上角或左下角。假设图片的原点位于左上角，主点在此坐标系下的坐标为(x0，y0)，像点在以主点为原点的坐标系下的坐标为(fX/Z，fY/Z)，因此像点在原点位于左上角的图像中的坐标为(fX/Z+x0，fY/Z+y0)。因此可得系统的齐次表达式为:

图像成像的最小单元是像素，像素单元矩形的长宽可能不等，从而造成x方向和y方向的空间坐标相等但是像素坐标不等的情况。假设像素单元x方向长度为a，y方向长度为b，得:

2 基于相机运动检测的模糊核估计方法

首先对运动情况存在两个假设:

(1)相机曝光期间，相机的运动是匀速直线。

(2)相机只在一个与像平面平行的平面内运动，不存在转动。

假设相机曝光期间的运动速度为(u，v)，u是相机沿x 轴的运动速度，v是相机沿y 轴的运动速度。如果将相机看作静止，则物点的运动速度为(-u，-v)。

模糊核又称为点扩散函数(Point Spread Function)，可以通过分析一个点在成像过程中的行为来获取模糊核函数。如图1所示，相机曝光开始时刻物点在A 点处，此时在像平面上的映射为A';相机曝光结束时刻物点在B 点处，此时在像平面上的映射为B'。物点的运动向量AB 会在像平面上形成向量A'B'，为了生成模糊核，需要获取该向量的模和方向。

图1 物点移动成像示意图

2.1 获取向量的模

图2 运动方向推导示意图

2.2 获取向量的方向

假设IMU 输出速度沿x，y 轴正方向为正，如图2所示，假如相机的速度为V，即两轴输出均为正值，根据相对运动，相机静止则物体的运动速度为V'，反映在图像上物体的运动即为左下方向。

同理可得其他速度输出对应的方向情况如图3，使用atan2(v，u)求出模糊核方向。

图3 速度值极性与模糊核方向角关系示意图

综上所述，在模糊核的长度和方向都能够获取以后，参考Matlab中fspecial('motion'，LEN，THETA)函数原理生成所需的模糊核函数。

图4 模糊核拼接示意图

2.3 进一步改进

之前假设t是相机的整个曝光周期，所以会造成计算所得的模糊核仅仅是直线段形式。为适应更加复杂的运动、获取更加准确的模糊核函数，将t 时间缩短，将一个曝光周期分为n 段，设曝光时间为T，新的t为T/n。将新的t 时间内的运动同样看做匀速直线，然后将n个模糊核进行拼接，就能够在曝光时间内获取一条更加准确的模糊核。

设n取10，因此在相机曝光期间能够获取10个直线型的模糊核，如图4(a)所示;然后根据先后顺序进行拼接得到最终的模糊核，如图4(b)所示。这样就能够针对曝光期间复杂的运动情况做出较好的估计。

3 实验结果与分析

3.1 实验平台简介

图5 实验平台

该实验平台主要是为了验证算法的可行性，并没有集成IMU。相机固定在支架上，相机主轴垂直于物体运动平面，物体由伺服电机带动做往复运动。通过伺服驱动器设置运动速度为12cm/s，由于平台运动距离较短，实际上的运动是一个先加速后减速的过程，所以拍照选取物体运动到平台的中段时进行，这样可以获取较为精确的运动速度。相机选取的是Microview的MVC1830DA 千兆网面阵CCD 摄像机，焦距从镜头读取是8mm，从说明书上可知成像单元的尺寸为6.45um×6.45um，分辨率为1024×1024，通过相机手册上的这些参数可以得到相机的内部矩阵K。相机坐标系原点到物体平面的距离由于实验条件有限无法精确获取，只能用尺进行粗略测量，测量镜头中段到物体平面的距离。曝光时间通过软件对相机进行设置为选择1/30s。在确定了所有参数之后，就能够根据2.1 和2.2 小节所述方法获取线段型的模糊核。之后就通过滤波算法对模糊图像进行滤波即可得到清晰图像，滤波的算法相对成熟而且种类繁多，本文直接采用常见的频域滤波算法——维纳滤波，文献［7］基于维纳滤波在频域中可并行化计算的特性，利用GPU的强大并行化计算能力开发了实时去模糊平台。

3.2 实验结果

图6(a)是由于运动产生的模糊图像，图6(b)是经过维纳滤波处理过后的图像。从结果图上可以看出存在很明显的振铃效应，振铃效应就是在逆滤波之后出现在边界部分的明暗条纹，文献［4］中认为出现振铃效应的主要原因在于不准确的图像噪声建模和模糊核估计的误差。

图6 图像处理前后对比

但是除去振铃效应的影响，图像在细节部分还是有一定的效果，如图7所示。

图7 细节比较

图7(a)是滤波处理前，图7(b)的是滤波处理后。可以很明显地发现细节上文字的辨识度有了一定提高，表明该方法的确有去运动模糊的效果。

4 结束语

本文提出一种基于运动检测的非盲去模糊方法，提出一种根据运动参数直接计算相应的模糊核的算法，而非传统的盲去模糊算法中的对模糊核先进行初步估计，然后再迭代收敛的方法，实验结果验证了算法的可行性和有效性。这种方法相对于传统的盲反卷积算法而言，计算量小、资源消耗少、处理速度快，利用GPU的并行计算能力甚至可以做到实时处理。但该算法实现更加依赖硬件的支持，对整个硬件系统的搭建要求较高，例如相机曝光和IMU的数据采集必须做到准确同步，另外拍摄时景深值是固定的且必须提前测量，针对很多实际情况并不符合景深固定这一假设，文献［2］中就使用了深度传感器(Microsoft Kinect)对深度信息进行了采集用于算法处理，所以在未来的改进上可以考虑加入深度信息，从而让该方法的适用性更广。

［1］Joshi N，Kang S B，Zitnick C L，et al.Image deblurring using inertial measurement sensors［J］.ACM Transactions on Graphics (TOG)，2010，29(4):Article No.30.

［2］Bae H，Fowlkes C C，Chou P H.Accurate motion deblurring using camera motion tracking and scene depth［C］//Proceedings of 2013 IEEE Workshop on Applications of Computer Vision (WACV).2013:148-153.

［3］Hartley R.计算机视觉中的多视图几何［M］.韦穗译.合肥:安徽大学出版社，2002.

［4］Fergus R，Singh B，Hertzmann A，et al.Removing camera shake from a single photograph［J］.ACM Transactions on Graphics (TOG)，2006，25(3):787-794.

［5］Shan Q，Jia J，Agarwala A.High-quality motion deblurring from a single image［J］.ACM Transactions on Graphics (TOG)，2008，27(3):Article No.73.

［6］Nayar S K，Ben-Ezra M.Motion-based motion deblurring［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(6):689-698.

［7］王晶，李仕.运动模糊视频图像在图形处理器平台上的实时恢复［J］.光学精密工程，2010，18(10):2262-2268.

［8］戴朝约.针对运动模糊的图像复原方法研究［D］.杭州:浙江大学，2011.

［9］Ren C，Chen W，Shen I.Three-stage motion deblurring from a video［M］// Proceedings of the 8th Asian Conference on Computer Vision.2007，2:53-62.

［10］Levin A，Weiss Y，Durand F，et al.Understanding and evaluating blind deconvolution algorithms［C］// IEEE Conference on Computer Vision and Pattern Recognition，2009.2009:1964-1971.

［11］Adams A，Talvala E-V，Park S H，et al.The Frankencamera:An experimental platform for computational photography［J］.ACM Transactions on Graphics (TOG)，2010，29(4):Article No.29.

［12］孙韶杰，吴琼，李国辉.基于变分贝叶斯估计的相机抖动模糊图像的盲复原算法［J］.电子与信息学报，2010，32(11):2674-2679.

［13］张红民，成于思，梁琛颖.基于广义高斯分布的最大后验概率图像复原算法［J］.重庆理工大学学报:自然科学版，2011，25(5):66-69.

［14］Miskin J W.Ensemble learning［M］// Advances in Independent Component Analysis.Springer-Verlag Scientific Publishers，2000:76-92.