高速铁路运行环境视频自适应去模糊方法

王 凡，赵宏伟，刘俊博，王胜春，武斯全，苏文婧，李唯一

1.中国铁道科学研究院集团有限公司 基础设施检测研究所，北京 100081

2.北京交通大学 计算机与信息技术学院，北京 100044

3.北京铁科英迈技术有限公司，北京 100081

我国高速铁路里程长，跨度大，沿线自然环境非常复杂，定期地进行高速铁路运行环境安全检查，有利于及时地发现线路安全隐患，保障高速列车的安全运行。

目前，利用计算机视觉、人工智能等技术基于视频数据进行自动化检测是高速铁路运行环境安全检查的主要技术手段[1]。高速铁路运行环境视频的采集方式分为2种：

（1）利用高速铁路路旁安装的摄像机对特定场景进行全天候监控[2-3]。这种方式获取的视频图像质量较高，有利于后续的安全检查任务。然而，高速铁路沿线自然环境复杂，部分区段不具备架设摄像机的条件，导致无法获取全线路的运行环境信息。

（2）利用车载摄像机[4]在高速列车行驶过程中拍摄沿线环境视频。这种方式能够获取全线路的运行环境信息，但高速列车行驶速度快，拍摄的视频图像存在运动模糊，模糊程度与列车速度正相关，对后续的运行环境安全检测任务造成很大困难。此外，受轨道平顺性影响，高速列车行驶过程中不可避免地会产生振动，同时导致车载摄像机振动，造成散焦模糊。

本文主要研究如何自适应地去除高速行车条件下车载摄像机运动所导致的运动模糊和散焦模糊，以实现采集高质量的高速铁路运行环境视频的目的。去卷积方法是经典的图像运动模糊复原方法，根据点扩散函数（point spread function，PSF）是否已知，该类方法又可分为盲去卷积方法和非盲去卷积方法。盲去卷积方法通常是基于贝叶斯框架的随机性方法，利用图像局部内容的统计特性和成像系统的先验知识，采用贝叶斯推导方法求解PSF 和复原图像，如：最小均方误差法[5]、隐变量法[6]、最大后验概率法[7]和变分法[8]。非盲去卷积方法通常先基于强边缘预测[9]、图像频域[10]和图像内容先验[11]迭代估计图像的PSF，再利用Richardson-Lucy[12]、一阶原始对偶优化[13]和Hyper-Laplacian[14]等算法进行去卷积处理，从而得到复原图像。

近年来，深度卷积神经网络（deep convolutional neural network，DCNN）在图像去模糊领域取得了许多优秀的成果，如，DeblurGAN 系列[15-16]、EDVR[17]、和PSSNSC[18]。该类方法的基本原理是先利用条件生成式对抗网络（conditional generative adversarial networks，C-GAN）从模糊图像重建复原图像，然后，度量复原图像与清晰参考图像的相似度作为网络损失值，迭代更新网络模型各层参数，直至复原图像与清晰图像的相似度达到最优。

然而，现有方法应用于车载高速铁路运行环境视频时，存在以下2个方面的问题：

（1）经典的图像去模糊方法通常假设空间不变的图像模糊，针对特定的图像场景、图像内容等先验知识估计PSF，进而得到复原图像。然而，高速铁路沿线环境不断变化，视频图像的模糊程度也受到列车行驶速度和轨道平顺性的影响，产生的图像模糊是空间变化的，现有方法难以实现自适应地去模糊。

（2）基于DCNN的图像去模糊方法需要人工地构建大量清晰-模糊图像样本对，作为训练网络模型的样本数据。然而，高速行车条件下，很难获得清晰的参考图像用于构建训练样本集。

基于以上问题，首先，提出一种新的车载高速铁路运行环境视频采集系统，实现在高速行车条件下采集高分辨率的视频数据；然后，提出一种高速铁路运行环境视频自适应去模糊方法，利用车载的惯性测量单元测量摄像机的运动轨迹，并设计新的去卷积算法复原空间变化的模糊图像；最后，利用检测列车在实际高速铁路线路进行实验验证，证明了本文方法的有效性和实用性。本文方法已推广应用于我国多辆高速综合检测列车，为高速铁路运行环境安全检查提供有效数据保障。

1 车载高速铁路运行环境视频采集系统

目前，我国的高速综合检测列车配备有车载视频监控系统[19]，视频图像分辨率为1 920×1 080，帧率为25 FPS。然而，该系统仅能实现视频数据的采集和存储，没有对视频进行去模糊处理，已无法满足高速铁路运行环境安全检查任务的需求。

本文提出一种新的车载高速铁路运行环境视频采集系统，其架构如图1 所示。该系统由高清摄像机、信号同步单元、RFID 标签阅读器、GNSS 单元和惯性测量单元组成。高清摄像机利用螺栓固定于列车车体，拍摄线路内基础设施及周边环境的视频图像，通过千兆数据网络传输至视频采集服务器；信号同步单元接收车轮光电编码器触发的距离脉冲信号，发送至视频采集服务器，用于计算列车当前行驶里程和速度；RFID标签阅读器读取接触网杆上安装的电子里程标签，用于校准当前里程位置；GNSS单元和惯性测量单元用于实时计算车体运动轨迹，可在无电子里程标签的区段校准当前里程位置。

系统的视频图像分辨率为2 048×1 536，帧率为25 FPS，拍摄的原始视频图像如图2 所示。显然，检测列车时速为301 km/h 时，图像存在较严重的运动模糊，需要进行去模糊处理。

2 高速铁路运行环境视频自适应去模糊方法

本文提出的高速铁路运行环境视频自适应去模糊方法的处理流程如图3所示，该方法利用惯性测量单元测量摄像机运动参数，从而解计算摄像机运动轨迹得到平移矩阵和旋转矩阵，然后，计算稀疏重采样矩阵，并与模糊图像共同输入到空间变化的去卷积算法，得到复原图像。

2.1 空间变化的图像模糊模型

通常，空间不变的图像模糊被看作是点扩散函数和加性高斯白噪声共同作用于清晰图像的结果，可形式化为下式：

其中，I表示潜在的清晰图像，K表示点扩散函数，N表示噪声，B表示已知的模糊图像，⊗表示卷积。

然而，摄像机在曝光时间内的运动会导致空间变化的图像模糊，例如：（1）由于图像平面的焦距变化而产生的散焦模糊；（2）由于摄像机平移运动导致的运动模糊；（3）由于摄像机的滚动、偏航和俯仰运动导致的运动模糊。

真实场景中，点(X,Y,Z)在时刻t的光强度经过与摄像机投影矩阵Pt的变换，投影到图像平面的(ut,vt)处的结果为像素值，该过程可表示为：

在曝光时间内，如果摄像机发生平移或旋转运动，则Pt会随时间而变化，导致场景中同一点每个时刻投影到图像平面的不同位置，产生图像模糊。该点的投影轨迹即是PSF。

摄像机投影矩阵Pt可表示为摄像机内参矩阵A、标准透视投影矩阵C和外参矩阵Et的乘积：

其中，d表示深度值，M是与图像平面正交的单位向量。

因此，给定t=0 时刻的图像I0，其后续时刻的图像It可表示为：

式中，Ft(d)表示稀疏重采样矩阵（模糊采样矩阵），用于实现由平面单应性引起的图像扭曲和重采样。Ft(d)每行包含权重参数，可使用双线性插值算法计算图像平面(ut,vt)处的值作为点(u0,v0,1)T=Ht(d)-1(ut,vt,1)T的插值。

由此，空间变化的图像模糊模型可表示如下：

2.2 基于惯性测量单元的摄像机运动轨迹测量方法

基于2.1 节的理论分析，去除空间变化的图像模糊需要求解4个未知量，即曝光时间内的摄像机旋转矩阵R、平移矩阵T、场景深度d和摄像机内参矩阵A，其中，A可通过摄像机标定获得。

车载高速铁路运行环境视频的模糊是由摄像机运动所导致，因此，可根据曝光时间内摄像机的运动轨迹来计算旋转矩阵R和平移矩阵T。基于此，本文提出了一种基于惯性测量单元的摄像机运动轨迹测量方法，根据惯性测量单元测量的运动参数，计算摄像机旋转矩阵和平移矩阵。

惯性测量单元是一种捷联惯导装置，一般由3轴陀螺仪和3 轴加速度计组成，用于测量载体在空间3 个坐标轴的角速度和加速度，即运动参数。本文中，摄像机和惯性测量单元是通过螺栓固定于列车车体，可看作是刚性连接，即惯性测量单元测量的运动参数同时表示列车车体和车载摄像机的运动参数。

惯性测量单元测量的角速度是当前坐标系摄像机旋转的角速度，测量的加速度是当前坐标系下平移加速度、旋转产生的向心加速度和重力加速度之和。具体来说，在曝光时刻[ ]0,t内，惯性测量单元测量的运动参数如下：

式中，f(·)表示将角度位置转换为旋转矩阵。

然后，可根据旋转矩阵计算初始坐标系加速度：

本文中，由于摄像机运动频率高，可将测量的加速度视为关于恒定重力的正太态分布，则加速度的平均值即为重力加速度：

2.3 空间变化的去卷积算法

本文基于贝叶斯框架进行图像去卷积，利用已知的模糊图像B、重采样矩阵F和噪声水平σ2，求解最优的复原图像I′。根据贝叶斯准则，求解过程可表示为后验概率分布的最大化，其等价于最小化负对数释然的总和：

需要注意的是，场景深度d仍为未知量。因此，在求解最优复原图像I′的过程中，需要隐式地计算场景深度d。具体来说，对于图像平面中某一点(u,v)，在图像空间中搜索其潜在的投影结束点(u′,v′ )，该点处深度d可根据下式计算：

3 实验验证

实验以高速综合检测列车为平台，在实际的高速铁路线路进行实验验证，并选用文献[4]提出的空间变化的高速铁路图像去模糊方法进行比较，以验证本文方法的有效性和优越性。

对比实验结果如图4 所示，其中，第1 行为50～100 km/h 速度的视频图像，第2 行为100～200 km/h 速度的视频图像，第3 行为200～300 km/h 速度的视频图像，第4行为300 km/h以上速度的视频图像，不同速度等级视频图像的模糊程度不同。为便于观察去模糊效果，将图像的局部区域进行了放大显示。

观察对比实验结果可知，本文方法能够有效地去除不同速度等级视频图像的运动模糊。与文献[4]方法相比，本文方法能够更好地去除图像模糊，更多地复原图像的细节信息，更有利于高速铁路运行环境安全检查任务。

由于无法获取清晰的参考图像，无法使用PSNR、RMS等常见的图像评价指标来评价本文方法的去模糊效果。因此，实验采用无需参考图像的BRISQUE 指标来评价复原图像的质量[20]，并与文献[4]方法进行比较。具体来说，选取20 幅原始视频图像，每种速度等级各5幅，分别使用本文方法和文献[4]方法进行去模糊，得到复原图像，然后，计算每幅图像的BRISQUE指标。对比实验结果如图5所示，其中，BRISQUE值越低，表示图像质量越好。

根据对比实验结果可知，不同速度等级原始图像的质量存在巨大差异，速度等级越低，图像的模糊程度越低，图像质量越好。在低速度时，本文方法与文献[4]方法的去模糊效果差异不显著，但在高速度时，本文方法仍然能够继续保持较低的BRISQUE 指标，复原出质量较高的图像，充分证明了本文方法的有效性和优越性。

两次对比实验结果表明，本文方法更适合去除车载高速铁路运行环境视频图像的运动模糊，实现了采集高质量运行环境视频数据的目的。

4 结束语

本文先提出一种新的车载高速铁路运行环境视频采集系统，实现了全线路的运行环境视频采集。针对车载高速铁路运行环境视频存在严重运动模糊的问题，提出一种自适应图像去模糊方法，与现有方法相比，本文方法的计算复杂度更低，且能够自适应地去不同速度等级的图像模糊，有利于提升车载高速铁路运行环境视频的质量，为高速铁路运行环境安全检查任务提供有效数据保障。通过两次对比实验证明了本文方法的有效性和优越性。此外，本文方法已推广应用于我国多辆高速综合检测列车，充分说明了方法的实用性。