基于DFT基的矿井视频监控图像分块压缩感知方法*

张 帆,闫秀秀

(1.中国矿业大学(北京)机电学院,北京 100083;2.中国矿业大学(北京)现代教育中心,北京 100083)

基于DFT基的矿井视频监控图像分块压缩感知方法*

张 帆1,2*,闫秀秀1

(1.中国矿业大学(北京)机电学院,北京 100083;2.中国矿业大学(北京)现代教育中心,北京 100083)

针对矿井视频监控图像受噪声干扰影响大,采用常规的图像采样和压缩方法存在图像模糊和传输时间过长等问题,提出了一种矿井视频监控图像分块压缩感知方法。该方法通过建立矿井视频监控图像分块压缩感知模型,在井下图像采集节点利用稀疏随机矩阵进行压缩采样,然后在地面监控中心利用正交匹配追踪(OMP)算法重构图像。研究结果表明,采用本文算法的重构图像误差小、重构时间短,所需信号采样点数少;与扰频Hadamard矩阵相比,采用稀疏随机矩阵和高斯随机矩阵作为观测矩阵对图像信号重构的峰值信噪比(PSNR)提高4 dB～5 dB;本文算法与基于小波基的算法相比,信号重构的PSNR提高1 dB～4 dB,重构时间缩短至少80%以上。

矿井视频监控图像;分块压缩感知;离散傅里叶变换矩阵;正交匹配追踪算法;峰值信噪比

现有的井下图像采集节点对矿井视频图像进行采样时,Nyquist采样定理要求信号的采样频率不得低于信号带宽的两倍,存在图像传感器设计复杂、存储空间需求大,以及传输信道带宽要求高等问题。尤其是,矿井环境中视频图像噪声干扰影响较大,矿井视频监控图像存在图像模糊、图像压缩及重构时间过长等问题[1-2],但由于矿井监控和视频通信对矿井视频质量和实时性要求高,加之井下通信环境带宽资源有限,采用常规的图像压缩技术难以解决视频图像压缩处理时出现的视频传输延迟、图像抖动等问题[3-4]。因此迫切需要研究新的矿井图像处理方法以解决现存问题。

国内外很多研究人员对图像压缩处理技术进行了大量探索性研究并取得了许多重要成果。Candes和Donoho提出了压缩感知理论[5-6],通过分析信号本身的稀疏矩阵,试图突破传统信息论中的带宽瓶颈,对信号处理和压缩极限产生了很大的提升。该理论指出,在某种特定条件下,能以低于Nyquist采样频率的较低频率采样信号,而且可以高概率地重构出该信号。文献[7-8]对压缩感知理论及相关技术研究进展进行了综述,提出了压缩感知欠采样算法。文献[9]对无线传感网络的关键技术进行了研究,提出若将压缩感知欠采样技术应用于传感网络数据的采集,可以减少数据采样数,从而降低终端节点的处理能力要求和功耗,减轻数据传输的压力。文献[10]提出了一种压缩感知编解码与传统编解码相混合的语音编解码方法,该方法降低了井下语音终端的编码复杂度,节约了终端能耗;文献[11]提出了一种基于改进压缩感知算法的图像压缩方法,虽然有效压缩了图像大小,解决了传输数据大等问题,但其采用观测矩阵所需存储空间较大,重构算法复杂、计算量大、处理运算时间过长,影响了矿井视频监控图像传输的实时性。上述研究虽然对丰富和完善矿井语音和图像压缩编码理论具有一定的借鉴作用,但对矿井视频监控图像的信号采集、压缩程度和重构效果以及实时性,尚缺乏系统性的研究,也没有给出相关理论的有效性验证。

针对以上问题,在前人研究的基础上,本文基于压缩感知理论,以随机稀疏矩阵作为观测矩阵,在考虑井下环境噪声对矿井图像干扰基础上,采用正交匹配追踪算法将非凸规划问题转化为凸规划问题,对矿井视频监控图像的信号采集、压缩感知和快速重构进行了研究,并对算法的有效性进行了实验验证。

1 理论分析

考虑一个长度为N的图像信号x,它在某正交基Ψ上的变换系数表示为:

x=Ψθ

(1)

式中,θ是信号x在该正交基Ψ上的变换系数。其中,如果θ中的非零个数为K,满足K≪N,称信号x为K-稀疏信号。

假设长度为N的信号x在正交基离散傅里叶基(DFT)Ψ上的变换系数是稀疏的,如果用一个与变换基Ψ不相干的观测矩阵Φ对信号x进行线性观测得到:

y=Φx=ΦΨθ

(2)

式中,y为观测值,Φ为观测矩阵,Φ∈RM×N(K

利用范数优化公式可以表示为以下模型:

min‖θ‖0
subject toy=Φx=ΦΨθ=Aθ

(3)

式中,θ=ΨTx为信号x的稀疏变换系数,A=ΦΨ为压缩感知信息算子。

当在观测矩阵Φ和稀疏基Ψ具有不相关性(A=ΦΨ满足约束等距性)条件下,将非凸规划问题转化为凸优化问题[12-13]求解。因此重建出最稀疏的θ问题转化为l0范数优化问题,即

(4)

式中,ε表示重构误差,为极小常量值。利用式(4),寻找最小l0范数的解空间以精确重构稀疏信号,从而上式求解可表示为一个线性规划问题,即可利用优化求解方法从观测值中精确地重构图像信号x,使得求解过程更简单。

2 分块压缩感知算法

2.1 矿井图像分块压缩感知模型

现有压缩感知方法不适合矿井大尺度的整幅图像进行实时采样计算,且算法存在非线性恢复算法代价较大的问题,基于此,本文提出采用分块压缩感知方法[14-17]获取矿井视频监控图像。矿井图像分块压缩感知算法模型如图1所示。

图1 矿井图像分块压缩感知算法模型

矿井图像分块压缩感知过程主要包括图像信号压缩采样和图像重构。井下采集节点首先对井下监控目标分块,然后利用观测矩阵对井下监控目标进行线性观测得到压缩采样数据[18],再通过矿井传输网络将压缩采样数据上传至地面监控中心,经稀疏变换并采用重构算法对矿井图像进行重构,最后对重构图像拼接、重整,恢复原始图像。其关键技术包括图像分块、观测矩阵、稀疏变换和重构算法四个部分。具体描述如下:

矿井分块压缩感知首先将N=Ir×Ic个像素的图像x分成大小为K×K的块,第i块的向量形式记为xi,i=1,2,…,n,n=N/K2,然后对xi应用相同的观测矩阵ΦK进行观测,得到第i块的观测向量值yi∈RM×1记为:

yi=ΦKxi+e

(5)

式中,yi∈RM×1为观测向量值,ΦK为观测矩阵,ΦK∈RM×K2,e为噪声残差,是服从均值为零、方差为σ2的随机高斯噪声。

采用分块压缩感知的图像压缩时,仅需存储M×K2的矩阵块。针对矿井视频监控的整幅图像,等效于采用如下分块对角矩阵进行全局压缩:

(6)

式中,N为矿井图像信号长度;M为观测矩阵个数;n=N/K2为矿井图像分块的矩阵个数;ΦK为观测矩阵,表示仅含0、1的稀疏随机矩阵。当两个矩阵相乘时,其中0元素不参与运算而1元素相当于加法运算,从而降低图像采集节点CPU的运算功耗。

然后根据分块压缩采样数据,进行分块压缩后采样数据的稀疏变换。考虑DFT变换计算速度快,具有正交变换等特征,结合矿井图像变化缓慢、矿井图像传输实时性要求高的特点,本文采用离散傅里叶变换对矿井图像进行稀疏变换,稀疏基Ψ为离散傅里叶变换矩阵。

(7)

(8)

图2 OMP算法流程图

2.2 算法描述

对于以上矿井图像分块压缩感知模型,其算法流程图如图2所示。

具体的实现步骤如下:

步骤1 信号的压缩采样:在矿井图像采集节点对矿井图像信号进行分块压缩采样,包括以下子步骤:①将输入的矿井视频图像信号分成n个大小K×K像素的图像块,其中n,K∈N;②构建第i(i=1,2,…,n)个图像块对应的观测矩阵为ΦK,其中,ΦK∈RM×K2,M≪K2,且ΦK为随机稀疏矩阵;③通过观测矩阵ΦK获得第i个图像块的观测值为yi=ΦKxi,其中yi∈RM×1,xi∈RK2×1,且xi为源图像第i块的列向量;

步骤2 信号的重构:在地面监控中心采用OMP算法重构得到分块图像的矢量化结果,重构算法描述见表1;

表1 重构算法

步骤3 信号的整合:包括以下子步骤：①将步骤2所得分块矢量化信号重整还原为分块图像信号;②根据对源图像块划分的方法,将各图像块进行拼接,获得重构图像。

步骤4 信号的优化:针对图像分块处理所导致的分块效应,在重构子块的边界采用均值滤波器处理,去除图像块相邻处的虚假边界,以平滑图像。

OMP算法是一种贪婪的迭代算法,其基本思想是在每一次迭代过程中,从压缩感知算子A=ΦΨ中选择一个与信号最匹配的原子,通过信号减去其在所有被选择的原子组成的矩阵所张成空间上的正交投影,得到信号残差,然后继续选择与信号残差最匹配的原子,经过一定次数的迭代,信号可以由一些原子线性表示。其算法流程如图2所示。

3 结果与分析

笔者通过建立矿井图像的重构误差数学模型,利用MATLAB对提出的算法进行仿真分析,仿真原始图像采用煤矿井下视频监控图像,如图3所示,图像像素为512×512。图3(a)为理想无噪声图像,图3(b)为在图3的基础上加入均值为0,方差为10的高斯噪声(含噪图像的PSNR为33.302 1 dB)。

图3 井下视频监控原始图像

考虑到井下环境噪声干扰因素对图像信号重构的影响,需要通过评价模型考察原始图像经稀疏表示、压缩采样和重构之后所得的重构误差。峰值信噪比(PSNR)表示峰值信号与噪声的比值,它是表征图像重构效果的重要指标[21],PSNR评价模型定义如下:

(9)

(10)

式中,MSE为均方误差,是原始图像A(i,j)与重构图像A′(i,j)之间的灰度差,即表示噪声信号,M和N是图像矩阵维度数(图像像素);L是图像最大灰度值即表示一个像素点占用的2进制位数,通常8 bit的图像L为255;PSNR为峰值信噪比,单位为dB,PSNR值越大,表示重构误差越小,两幅图像相似度越高。

本文采用式(11)的压缩比衡量图像信号的压缩程度。压缩比越小,所需采样的点数越多,压缩程度越大。其中M为原始块信号的长度,N为观测矩阵观测压缩后的长度。

r=N/M

(11)

在采用不同矿井图像分块尺度和观测矩阵条件下,利用tic、toc函数对,我们进一步考察本文提出的基于DFT基矿井图像分块压缩感知算法的重构时间。同时,与基于一维小波基的矿井图像分块压缩感知算法相比较,以验证本文所提出算法对矿井图像压缩采样和信号重构效果。

3.1 不同观测矩阵对图像重构的对比

由于基于压缩感知理论的图像数据采集是基于观测矩阵的,因此需要考察观测矩阵的选取对图像信号的压缩程度和图像重构的影响。我们选取分块压缩感知的压缩比为0.5,矿井图像分块尺度大小分别取K=16、K=32、K=64,并在同一图像分块尺度上分别以高斯随机矩阵、稀疏随机矩阵和扰频Hadamard矩阵作为观测矩阵,分别对井下原始图像和含噪声图像进行压缩采样,以DFT基为稀疏基,最后采用OMP重构算法重构图像。重构图像的PSNR及重构时间结果对比见表2、表3。

表2 理想无噪声环境下采用不同观测矩阵的PSNR及重构时间比较

表3 有噪声环境下采用不同观测矩阵的PSNR及重构时间比较

根据表2、表3数据,我们比较发现,在矿井图像分块尺度一定的条件下,观测矩阵分别取高斯随机矩阵、稀疏随机矩阵和扰频Hadamard矩阵时,重构PSNR值都出现较大变化。采用高斯随机矩阵和稀疏随机矩阵作为观测矩阵的矿井图像重构误差较小,二者差别不大,且均比采用扰频Hadamard矩阵作为观测矩阵的重构误差的PSNR值高8 dB～10 dB。

我们进一步考察表2、表3数据可以发现:矿井图像的分块尺度大小对重构误差影响不大,但是当K=64时,重构算法所需时间变得特别长,这是因为矿井图像分块尺度变大后,重构算法的复杂度增加,从而计算时间变长;同时实验过程中我们发现,K=16时,由于分块太小,容易出现某个分块图像为全黑的现象(即该分块图像的像素值全为0),会导致重构算法不稳定,容易出错。因此一般取矿井图像分块尺度K=32。

对比表2、表3数据,虽然噪声环境下重构图像的PSNR有所降低,但采用高斯随机矩阵和稀疏随机矩阵作为观测矩阵时,重构图像的PSNR均高于含噪图像的PSNR值,即对原始图像加入高斯噪声后,具有一定的抗噪声鲁棒性。

3.2 不同算法比较分析

以下就本文算法与基于一维小波基的矿井图像分块压缩感知算法的重构PSNR结果进行对比。对比实验分别从固定的压缩比和不同的压缩比两种情况进行。为了便于对比分析,实验中图像分块尺度统一取K=32,观测矩阵均为稀疏随机矩阵。

固定分块压缩感知的压缩比为r=0.5,分别对基于DFT基的矿井图像分块压缩感知算法、基于sym2小波基的矿井图像分块压缩感知算法、基于coif2小波基的矿井图像分块压缩感知算法进行仿真实验,实验结果如图4以及表4所示。

图4 3种算法的重构结果比较

稀疏基种类理想不含噪Time/sPSNR/dB含噪声环境Time/sPSNR/dBDFT基39.835836.811054.277134.1006Sym2小波基528.281033.8913583.451530.8421Coif2小波基424.338133.9602489.931130.7735

图4给出了在不同算法情况下的主观视觉图,从中可以明显地观察到,基于小波基的矿井图像分块压缩感知算法比基于DFT基的矿井图像分块压缩感知的重构效果差。同时,由表4数据进一步观察得出:在相同压缩比和观测矩阵情况下,基于DFT基的稀疏重构算法比基于小波基的稀疏重构算法的PSNR值提高1 dB～4 dB,且重构时间明显缩短,比小波基的稀疏重构算法时间缩短至少80%以上。

分块压缩感知的压缩比分别取:0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.2,对基于DFT基的矿井图像分块压缩感知算法、基于sym2小波基的矿井图像分块压缩感知算法、基于coif2小波基的矿井图像分块压缩感知算法进行仿真实验,实验结果如图5所示。

图5 不同采样点数时三种算法的重构结果比较

由图5可以看出,随着压缩比不断增加,信号重构的PSNR值逐渐增大,重构误差越来越减小。同时,我们通过比较发现,在理想无噪声环境和有噪声的环境下,与基于sym2小波基和coif2小波基的矿井图像分块压缩感知算法相比,本文所提出的基于DFT基的矿井图像分块压缩感知算法比上述两种算法的重构PSNR值高1 dB～4 dB,因此采用基于DFT基的矿井图像分块压缩感知算法的重构效果更好,误差更小,图像精确度更高。

4 结论

①提出了一种基于DFT基的矿井图像分块压缩感知方法。该算法利用随机稀疏矩阵采样数据,所需信号采样点数和压缩处理时间少,可以大大降低数据的采样率,减少了井下图像采集节点的数据采样点数,从而降低了图像信息的存储量、传输量。采用分块压缩感知算法,图像压缩处理和重构时间短,重构误差小,图像清晰,能有效提高矿井视频图像的实时性和降低井下图像采集节点的功耗。

②采用分块压缩感知的矿井视频图像处理方法中,观测矩阵的选取不仅决定了图像信号的压缩程度,而且对图像信号能否被正确重构影响较大。实验表明,采用高斯随机矩阵和稀疏随机矩阵作为观测矩阵的信号重构误差较小,且均比采用扰频Hadamard矩阵作为观测矩阵的峰值信噪比提高8 dB～10 dB。

③实验表明,采用DFT基作为稀疏基的重构算法比采用一维小波基作为稀疏基的重构算法,重构误差小,图像精确度高,图像重构的峰值信噪比提高1 dB～4 dB,且重构时间明显缩短,比小波基的稀疏重构算法时间缩短至少80%以上。因此,本文算法有助于改善矿井视频监控系统的图像清晰度和实时性能。

[1] 孙继平. 煤矿物联网特点与关键技术研究[J]. 煤炭学报,2011,36(1):167-171.

[2] 张谢华,张申,方帅,等. 煤矿智能视频监控中雾尘图像的清晰化研究[J]. 煤炭学报,2014,39(1):198-204.

[3] 张帆. 矿井视频图像压缩与传输方法及装置:中国,201510201171.5[P]. 2015-04-27.

[4] 张帆,闫秀秀,李亚杰. 一种矿井图像视频图像融合方法与装置:中国,201510952077.3[P]. 2015-12-21.

[5] Candes E J,Romberg J,Tao T. Robust Uncertainty Principles:Exact Signal Reconstruction from Highly Incomplete Frequency Information[J]. IEEE Transactions on Information Theory,2006,52(2):489-509.

[6] Donoho D L. Compressed Sensing[J]. IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[7] 石光明,刘丹华,高大化,等. 压缩感知理论及其研究进展[J]电子学报,2009,37(5):1070-1081.

[8] 魏苗,练秋生. 基于压缩传感的宽带频谱协方差感知算法[J]. 传感技术学报,2011,24(07):1022-1026.

[9] 王泉,张纳温,张金成,等. 压缩感知在无线传感器网络数据采集中的应用[J]. 传感技术学报,2014(11):1562-1567.

[10] 马丽娜,曹新德. 基于压缩感知的煤矿井下语音通信系统[J]. 安徽理工大学学报:自然科学版,2011(3):72-74.

[11] 杨磊,黄友锐,唐超礼,等. 一种煤矿井下图像压缩方法[J]. 工矿自动化,2015,41(8):82-84.

[12] Chen S S,Donoho D L,Saunders M A. Atomic Decomposition by Basis Pursuit[J]. Siam Review,2001,43(1):33-61.

[13] Donoho D L,Elad M,Temlyakov V N. Stable Recovery of Sparse Overcomplete Representations in the Presence of Noise[J]. IEEE Transactions on Information Theory,2006,52(1):6-18.

[14] Lu G. Block Compressed Sensing of Natural Images[C]//International Conference on Digital Signal Processing. IEEE,2007:403-406.

[15] 刘哲,顾淑音,南炳炳,等. 一种基于块稀疏贝叶斯学习的压缩图像融合算法[J]. 光子学报,2013,42(11):1365-1369.

[16] 彭向东,张华,刘继忠. 基于块稀疏贝叶斯学习的体域网心电压缩采样[J]. 传感技术学报,2015,28(3):401-407.

[17] 佘青山,徐平,罗志增,等. 一种新的分块压缩传感图像重建算法[J]. 东南大学学报(自然科学版),2011,41(B09):27-31.

[18] 赵士彬,姚素英,徐江涛. 基于压缩感知的低功耗高效率CMOS图像传感器设计[J]. 传感技术学报,2011,24(8):1151-1157.

[19] 杨真真,杨震,孙林慧. 信号压缩重构的正交匹配追踪类算法综述[J]. 信号处理,2013(4):487-488.

[20] 刘洲洲,徐继良,韩莹,等. 基于压缩感知理论的WSNs时序信号分段压缩算法[J]. 传感技术学报,2016,29(1):122-128.

[21] 佟雨兵,张其善,祁云平. 基于PSNR与SSM联合的图像质量评价模型[J]. 中国图像图形学报,2006,11(12):1758-1763.

The Block Compressed Sensing of Mine Monitoring Images Based on DFT Basis*

ZHANGFan1,2*,YANXiuxiu1

(1.School of Mechanical Electronic and Information Engineering,China University of Mining and Technology(Beijing),Beijing 100083,China;2.Modern Educational Technology Center,China University of Mining and Technology(Beijing),Beijing 100083,China)

To address the problem that the captured videos exist low resolution with noise and long transmission time by using conventional methods of images sampling for mine videos,based on compressed sensing,the algorithm of block compressed sensing for mine videos is proposed. By establishing model of block compressed sensing in mine monitoring videos,the proposed method uses sparse random matrix to sample mine images on sensing nodes. Then,it employs orthogonal matching pursuit(OMP)algorithm to reconstruct image on monitoring center. The results indicate that the proposed method compares favorably with existing schemes at lower reconstruction error,shorter reconstruction time and less sampled data.The Peak Signal-to-Noise Ratio(PSNR)of the algorithm is 8 dB～10 dB higher than that of the method using Scrambled Hadamard matrix,and simultaneously is improved by 1 dB～4 dB in comparison with that of the algorithm which base on wavelet basis,but the time is shortened at least 80%.

mine monitoring images;block compressed sensing;DFT basis;OMP algorithm;PSNR

张 帆(1972-),男,博士,副教授,硕士生导师,中国矿业大学(北京)机电学院,主要研究方向为矿井通信与监控、无线网络、压缩感知,zf@cumtb.edu.cn;闫秀秀(1993-),女,硕士研究生,中国矿业大学(北京)机电学院,主要研究方向为矿井图像处理、压缩感知,15650703216@163.com。

项目来源:国家自然科学基金重点项目(51134024);国家863计划项目(2012AA062203);中央高校基本科研业务基金项目(2014YJ01)

2016-07-18 修改日期:2016-10-27

TN911;TP391

A

1004-1699(2017)01-0094-07

C:7230

10.3969/j.issn.1004-1699.2017.01.018