基于VR的视频图像处理效果优化仿真研究

王 婧，高 博

(福建农林大学，福建 福州 350000)

1 引言

VR(Virtual Reality，虚拟现实)技术是新一代视频显示技术，将用户放置在球形区域中心，可以自由选择观看周围360度的视频场景，不受空间和时间的限制，具有身临其境的感觉。VR视频是一种新型的视频载体，它具有声音和图像对齐的特点，给用户一种深入式沉浸感。与传统视频图像相比，虚拟现实需要更高的比特率，同时也会占用更多网络带宽和存储空间，在给予用户优质体验的同时，如何优化视频质量和低比特率的视频编码是VR视频快速发展的关键之一，同样这也是本文的重点。

早期的视频图像处理系统主要基于仿真系统[1]，技术成熟、成本低廉，但传输距离短、抗干扰能力差，存储不方便，无法进行复杂数字处理。而现阶段，高分辨率数字视频图像处理系统已广泛应用，通常采用数字信号(Digital Signal Process，DSP)作为处理器[2]，但DSP较为适用复杂算法内，程序本质是串行执行，难以满足高速信号实时处理的要求，处理速度有限，要求及时性的系统中不适用。相比之下，FPGA(Field Programmable Gate Array，现场可编程门阵列)在实时图像处理占有很大速度优势[3]。根据现场可编程门阵列的内部结构和分布式算法，使各功能块可以同时工作，更有利于高速数字信号处理，但是处理效果依旧不够理想。

因此，本文提出基于VR的视频图像处理效果优化，在中值滤波算法基础上，添加阈值建立极值中值滤波算法，对视频图像中的噪声波点去除，是VR图像更切合现实背景。

2 虚拟现实技术

虚拟现实技术系统由检测模块、反馈模块、传感器模块、控制模块、建模模块和三维模块组成，系统组成如图1所示。

图1 虚拟现实技术的系统构成

在这六个模块中，检测和反馈模块是连接传感器模块以及用户的桥梁，控制模块在传感器模块和三维模块之间起连接作用，而建模模块则是通过用户的操作直接生成三维模块，它们之间的关系是相互联系、相互补充的。其中，图像作为虚拟现实技术中最为关键载体，能够通过视觉影响使用者对环境感知[4]，增强视频图像处理效果能够进一步加强虚拟真实感。

3 视频图像数字化

图像是二维数据，数据在内存中只能一维存储，所以在本次设计中，视频图像数字化多采用量化方法。此处做出对应的假设，安排在M×N数据组中，利用等距采样获取出一幅近似连续图像f(x，y)，那么即可得出

f(x，y)

(1)

其中每个元素就是一个离散变量，而式(4)的右侧则代表数字视频图像，数据组中每个元素即被描述成为相对应的像素条件。

在实际计算过程中，令Z和R分别表示为实整数集和实数集，采样时将其转换为网络格式作为图像平面，并根据笛卡尔坐标系计算确定每个中心点的网格图像。

如果式中x和y同样也被表示为Z集合中实整数，而且f(·)是给点对(x，y)赋予灰度值的函数，那么f(x，y)就可以代表一幅完整的空间数字化图像，其中赋值过程也可以称之为量化过程。如果计算得知图像中灰度值也取为整数，就是指Z集合代替了R集合，这样f(x，y)就可以直接表述为数字图像，并且该图像是坐标值与灰度值都取整数的二维函数[5]。

图像数字化处理过程中，首先对处理图像大小M、N以及像素的离散灰度计数G进行判定，在计算中经常将这些量都取为2的整数幂，这样图像数字化处理表达式便可写为

(2)

如果把图像离散灰度取值范围定在0和10之间，以均匀状态分布，那么根据下式即可得出储存一张数字视频图像需要的bit

b=M×N×K

(3)

如果M=N，那么就可以得出

b=N2k

(4)

比如M=N=1024、G=256=28=2k，那么就有b=N2K=8Mb。

4 视频图像处理效果优化

4.1 单向多级中值滤波算法分析

中值滤波是将数字图像中某一点值替换为该点邻域内的中值[6]，而中值取值结果则根据以下方法计算：

假设定义一组数据x1，x2，x3…，xn，将其按照大小顺序对这n个数值进行排列得出

xi1≤xi2≤xi3≤…≤xin

(5)

其中，当n为奇数时便有

(6)

n为偶数时

(7)

根据上式计算结果即可得知，图像效果将和3×3窗口下的简单邻域平均法得到的结果相似，将y描述为序列x1，x2，x3…，xn的中值[7]。

在计算过程中，假设将x(m，n)描述为有噪声混杂的原始视频图像以及在坐标为(m，n)处像素点灰度值。首先选取出矩形窗口为L=2N+1，其中N代表了非负整数，将这个窗口划分成为等同的四个子窗口，流程如下描述

W1(m，n)={x(m，n+i)，-N≤i≤N}

(8)

W2(m，n)={x(m+i，n)，-N≤i≤N}

(9)

W3(m，n)={x(m+i，n-i)，-N≤i≤N}

(10)

W4(m，n)={x(m+i，n+i)，-N≤i≤N}

(11)

根据计算可获得图2MLM滤波器示意图：

图2 MLM 滤波器

W1，W2，W3，W4代表沿着水平或垂直进行旋转的一维图像窗口，然后令Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)分别是4个窗口W1，W2，W3，W4的中值，这样便有：

Z1(m，n)=med[x(i，j)∈W1(m，n)]

(12)

Z2(m，n)=med[x(i，j)∈W2(m，n)]

(13)

Z3(m，n)=med[x(i，j)∈W3(m，n)]

(14)

Z4(m，n)=med[x(i，j)∈W4(m，n)]

(15)

将Umax(m，n)和Umin(m，n)描述为四个中值Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)的最大值以及最小值，即可得出：

Umax(m，n)

=max[Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]

(16)

Umin(m，n)

=min[Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]

(17)

根据上式，单项多级中值滤波的输出形式就有

y(m，n)=med[Umin(m，n)，Umax(m，n)，x(m，n)]

(18)

4.2 基于阈值的极值中值滤波算法图像效果优化

本文通过加入阈值构造极值中值滤波算法，增强滤波窗口的图像像素排序[8]，通过预判断将图像区域划分为图像边缘细节区域、平坦区域和噪声影响区域，优化过程如下：

首先，对窗口W[xi，j]内的像素点排序，找出max(W[xi，j])点和min(W[xi，j])点，也即极大值与极小值点。然后，将该点xij与max(W[xi，j])点、min(W[xi，j])对比，根据对比结果可知，如果两点不一致，那么就传输原值，不经过滤波处理，反之如果这两点取值相同，那么就采用预判断算法进行处理。

设f(x，y)为图像(x，y)点处的灰度值，g(x，y)为(x，y)邻域内像素点的灰度值。选择一个算子Y作用在g(x，y)和f(x，y)上，得Y=Y(f，g)之后根据不同的Y作进一步处理。这里Y的形式如下式所示

(19)

其中可得出

(20)

经过计算，式中i取值便如图3所示。

图3 i取值分布

在图3中，将点f(x+1，y)设为点(x，y)邻域内的第0点，依次围绕点(x，y)一周，直到点f(x+1，y-1)为第7点。

根据上述可得知T表述为常数阈值，而图像中噪声污染程度以及图像之间的分布变化、对比度都会直接影响T值的取值结果。面对分布变化大的图像，计算时T值结果就需要高一些，反之如果图像视觉效果良好，并没有很大噪声污染，分布变化也没有被拉的过大，那么计算过程中T值就需要取低值，不然会出现因阈值取值结果不精准，而导致的失误情况。

如果最终选择的阈值结果太高，在处理图像时会误认为噪声是有用的信号点，大部分噪声仍会保留在处理过程中，从而降低滤波处理效果和视觉效果；反之，如果阈值太小，则相应的会出现这种情况，将有用的信号点作为污染噪声处理，使图像更加模糊，信噪比会降低视觉效果。

根据上述计算结果，便可以进一步获取出以下判定：

1)如果任何像素的灰度值等于或接近它，即Y=0时，可将该点作为一个孤立噪声点进行中值滤波。

2)当1到4个像素灰度值等于或非常接近它时，即1≤Y≤4时，该点将被视为一个边缘细节节点，将不经处理而输出。

3)当有超过4个像素的灰度值等于或非常接近它时，即Y≥4时，可以认为该点位于一个平坦区域中，不处理该点。这样，整个计算过程可以表示为：

(21)

5 仿真研究

5.1 评价指标

5.1.1 纹理特征分析

图像灰度共生矩阵是纹理统计分析主要方法之一，利用灰度二阶统计量描述图像中灰度分布。将灰度共生矩阵ρ(d，φ)定义为从灰度为i点离开某个固定位置点上灰度为j的概率。此处选取d=1，而φ的取值分别为0°，45°，90°，135°，这样即可建立对比度以及熵的表达式：

(22)

根据计算得出k=i-j。在视频图像处理优化过程中，对比度是图像纹理沟槽测量的主要因素。凹槽越深，图像之间的对比度就越大。熵是对图像信息的度量。如果图像没有纹理，则熵值几乎为零。如果有许多精细的纹理，那么熵值会更大。

5.1.2 噪声比

视频图像处理后评价的指标是图像中含有噪声对比(Contrast to Noise Ratio，CNR)，便有

(23)

式中，μt和μb分别被描述为图像中噪声目标区域以及背景区域的均值，而σt和σb则表述为噪声目标和背景的标准方差取值，根据计算取值如果CNR越高，那么就证明该图像没有达到效果最优。

5.2 实验结果分析

将提出的基于VR的视频图像处理效果优化仿真与基于仿真系统、基于DSP和基于FPGA的视频图像处理方法作比较，以验证提出的基于 VR的视频图像处理效果优化仿真在使用后，对于视频图像处理质量的优化程度。

本文使用的实验材料来自某开源信息库，计算机实验环境如表1所示。

表1 计算机实验环境参数设置

通过基于仿真系统、基于FPGA、基于DSP以及本文方法处理后，仿真结果如图4所示。

图4 图像优化处理对比图

根据图4可知，本文处理效果最优，因为本文算法可以计算得出最适用的阈值，其它算法虽然可以完成优化目的，但由于图像优化标准值难以计算，式中不能达到满意效果。

本文对图像处理时，针对产生视觉效果差、压缩比率低等问题做出了解决，为得出得出视觉效果最优图像，现对比本文方法的优化效果的具体参数，不同方法的对比结果如表2所示。

表2 性能对比结果

如表2可知，在更细致的性能对比过程中，本文方法的优化效果明显高于其它方法，其对比度为4.21，噪声比为145.1，皆低于其它方法，说明本文方法可以有效调整对比度参数，防止丢失细节，减少刺眼强度。

当图像中出现较多“毛刺”现象时，其中所存坏像素点较多，图像质量优化就会失效，从而不能准确地得到视频图像效果，因此，对比经过三种方法处理后的“毛刺”现象显现程度，可以反映不同方法的优化效果。对比结果如图5所示。

图5 不同方法的辨识效果对比结果

如图5所示，对视频帧中含有“毛刺”现象的图像像素数据进行含坏像素点处理时，本文方法的含坏像素点显现程度高于其它两种方法，最为接近实际值，最高可达500，说明本文方法对“毛刺”现象辨识效果较强且可适用于多个视频帧应用，实际应用效果得到保证。

6 结论

1)提出基于VR的视频图像效果优化方法，对“毛刺”现象的优化效果其最为接近实际值，最高可达500，更加贴合真实生活环境，解决视觉效果差、压缩比率低等问题。

2)本文方法优化后的对比度为4.21，噪声比为145.1，可以有效防止丢失细节，减少刺眼强度，完成视频图像优化，得出视觉效果最优图像。

3)由于计算过程中滤波阈值需要精准取值，对计算结果有不容更改的硬性要求，不能广泛适用于各类计算机中，如何提高容错率是下一阶段研究的重点课题。