基于PDE的视频图像数据快速预处理方法

张天星

(福建船政交通职业学院 信息工程系，福建 福州 350007)

基于PDE的视频图像数据快速预处理方法

张天星

(福建船政交通职业学院 信息工程系，福建 福州 350007)

通过人手识别跟踪模拟实验，研究基于偏微分方程方法(PDE)的视频图像数据快速预处理方法.实验根据颜色模型，利用边缘信息、颜色信息和图像的帧差对人手进行分离，并在边缘检测部分，提出简单背景环境下基于PDE概率统计的一种检测方法，减少了边缘检测的时间，实现了视频图像数据的快速预处理.

PDE;图像预处理;边缘检测;图像去噪;二值化

0 引言

视频图像处理是当今计算机科学最重要的应用之一，其处理技术广泛应用于人工智能、视频遥感、自动化控制、多媒体设计等多个领域，并且随着数学理论的发展而日渐成熟.它最基本的工作是图像恢复和图像重建，其中图像预处理是其极其重要的一个步骤.

目前，在视频图像预处理阶段，运用最多的是图像分割和图像边缘检测两种做法.本文主要通过人手识别跟踪模拟实验，研究基于偏微分方程方法PDE(partial differential equations) 的视频图像数据快速预处理方法.实验中利用边缘信息、颜色信息和图像的帧差对人手进行分离，并在边缘检测部分，提出一个在简单背景环境下基于PDE概率统计的检测方法，减少了边缘检测的时间，实现了视频图像数据的快速预处理.

1 方法概述

本处理方法从颜色模型出发，对常规基于灰度的边缘检测算法做了部分修改，充分应用了图像的彩色信息对目标图像进行边缘检测，并提出了一种自适应的二值化阈值确定方法对边缘检测后的结果进行二值化.在自适应局部阈值的计算中，提出了优化的计算方法，可以快速获得阈值.最后辅以人手的颜色信息，获得了在简单背景下可接受的边缘检测结果.

2 具体设计

目前，大部分人手识别跟踪系统是通过检测手的肤色，将人手在图像中的可能区域定位出来.然而，由于实际物理器件性能的限制以及周围环境光的影响，即使经过大量颜色训练得到的颜色判定方法，也未必能十分准确地得到结果[1].不同摄像头的感光性能不同，在一个摄像头上训练出的结果未必适合于另一个摄像头.另外，不同的背景环境光线，会造成肤色的偏移现象.要解决这些问题，理论方面比较复杂，仍然在不断研究中，并且实现代价太大，使用起来未必效果很好.因此有些应用结合了边缘检测以及手的运动的连续图像的前后差异来解决这个问题.本文设计的人手识别模拟实验主要选择了边缘检测的方式来识别人手.

2.1 颜色模型

作为一个视频图像处理的应用程序，颜色模型是不可避免的话题.在多媒体计算机图像处理中，由于不同的应用目的，人们为可见光建立许多模型，不同的模型是针对不同类型的应用而设计的，它们没有本质的不同，无论哪种模型，都是为了能按照既定的目的，正确地进行图像处理工作.比较常见的模型有RGB(red-green-blue)模型、HSI(hue-saturation-intensity)模型、YCbCr模型等,本文主要使用RGB模型和HSI模型两个模型，其中RGB模型将红、绿、蓝3种颜色归一化处理成一个单位立方体，通过调节不同颜色分量的比例，表示出不同的颜色，主要用于描述检测图像信息的色彩空间.而HSI颜色模型从色调、饱和度、光强度3个维度出发对RGB模型进一步推导，使检测出的颜色空间形状描述更接近人对颜色的理解，主要应用于各类面向色彩处理的领域.

2.2 边缘检测

众所周知，视频采集系统采集动态图像实际上是以每秒24张图片以上的速率进行采集，并同时连续显示出来，这一系列图片在人眼看来，就是动态的图像[2].在微软提供的AMCAP视频捕获程序中，对Video capture pin的设置中可以看到，系统接口提供的采集速率(fr/s)为：6、12、15、18、20、25、30，这就是摄像头能够支持的采集速率.不同摄像头的采集能力不同，显示的值也不尽相同，速率越高，看到的图像连续性越好.在具体处理时，本文设计的边缘检测的处理对象是由摄像头采集到的每一张静态图片.

使用边缘检测的方法，颜色的偏差对检测结果带来的影响就小得多.边缘检测技术方法是多种多样的，用的比较多的做法是首先将图像平滑去噪声，然后用边缘检测算子进行检测，接着设定一定的阈值，将满足阈值限制要求的像素提取出来，获得检测结果[3].某些算法还通过Canny算法中的迟滞性过程，对检测结果加以优化.本实验对以上这些步骤进行一定的修改，以提高灵活性和准确性.主要包括：去噪声、算子操作以及二值化3个部分.下面分别进行阐述.

2.2.1 去噪声

PDE给出了图像的连续模型，使得算法的合成十分自然，使同时去除噪声和保护边缘的方案易于操作.最值得注意的是PDE方法能够得到具有较好的稳定性和质量的图像，特别是对具有突变边缘、角点、信号连续性较差的图像和动态图像[4]，利用PDE去噪的过程就是采用具有各向同性的高斯函数作为卷积核，对图像进行平滑处理.仿生学中对动物眼睛的研究验证了类似功能的存在，并且这也是常用的方式，差别在于标准差大小的选择，而目前还没有统一的选择标准，本文选择了这种方式.高斯函数的形式如下：

(1)

假设输入图像为G(x,y),输出图像为H(x,y),符号⊗为卷积操作，

H(x,y)=G(x,y)⊗f(x,y).

(2)

在实验中发现，若尺度过小，则平滑的效果有限；而尺度过大，则会模糊掉边缘，同时产生边缘变形的问题.为了尽可能地保持边缘的原始信息，本实验系统选择了用小尺度进行平滑，尽量保持图像的原始局部信息.之所以选择用小尺度平滑，还有另一个原因——后面的边缘提取操作是基于统计方法进行的，也具备一定的去噪声的功能，本步骤的去噪声操作是为了使最终结果得到进一步的改善.

2.2.2 边缘检测算子及操作

为了方便实现边缘的提取操作，人们推导了一系列的边缘检测算子，例如Robert算子、Prewitt算子、Sobel算子、拉普拉斯算子等.这些算子作用在灰度图像上，算子和对应的像素进行加权计算就可以得出中心像素的值.

但是，这样一来，色调和饱和度信息就被排除在考虑范围之外.根据日常经验，灰度、色调和饱和度在人感知色彩的时候是不可分割的3个部分，在不同情况下，不同的分量起到不同的作用.在决定物体边缘的时候，根据分量所占的权重，应该考虑以下形式的加权变量d.

假设Wi(i=1,2,3)为权重dg表示灰度的变化，dc表示色调的变化，ds表示饱和度的变化，

d=w1dg+w2dc+w3ds.

(3)

可以换一个角度考虑这个问题，在颜色空间中，某个点与坐标轴原点的连线是一个向量，这个向量与3个坐标轴分别有3个夹角.随着这个点在颜色空间中的运动，3个夹角开始发生变化.这是一个特性，夹角的变化就体现了权重的变化.颜色空间的两个点之间的差距，可以理解为两个向量的差.HSI空间如此，RGB空间也是如此.

回过头来观察一下这些算子，以3×3大小的Prewitt算子为例，它分为水平算子和垂直算子两个算子.水平算子计算出来的结果等效于对应模板中心.

值的像素最终计算结果是将该像素在水平方向相邻的两个像素做差分计算，同样垂直算子计算出来的结果等效于该像素垂直相邻的两个像素做差分计算.

于是，将数值差分更改为向量差分，向量差分的结果就是两个向量差的模.这样就完成了在彩色空间直接应用边缘检测算子的任务.

假设对一个3×3模板做一个编号，编号用两个下标表示，第一个下标表示列，分别为1、2、3，第二个下标表示行，分别为1、2、3，dh为水平算子的计算结果，dv为垂直算子的计算结果，R为颜色向量，d为该像素与相邻像素的差别，那么这个计算的表述如下，

(4)

这种更改，相当于将原图分解成R、G、B 3个通道分别检测后进行合成.在实际的室内简单场景中，本算法与Canny算法的比较结果见图1.这里的Canny算法代码(C代码)是从网络上下载的，在该代码中，高斯过程的模板为{0.000 1,0.001 8,0.021 5,0.096 5,0.159 2,0.096 5,0.021 5,0.001 8,0.000 1}，检测函数中的3个原始参数nGrayLevel, dPercentNotEdge, dTHRatio分别为64，0.7，0.4，本比较过程中将其第二个参数改为0.93，在这种室内简单环境中效果明显改善，结果放在第3列中.本算法阈值下限设为80.

从效果上看，本算法的结果未必比下载的算法差很多，差距基本在弱边缘即模棱两可的边缘附近，其中第二组图片是在极昏暗情况下摄像头自适应增强的图片，可以看出，下载的代码出现了错误的多重边缘，而本算法没有发生这样的错误.同时，下载算法中调用时要求给出边缘像素在图片像素中占比的参数，而本算法不需要.从运行时间上看，下载算法处理图片的平均时间为60 ms，本算法平均时间为30 ms，节省一半时间.可见本算法还算是有效的，并且后续处理中，本算法的结果是足够用的.

图1 本算法与Canny算法的检测结果比较Fig.1 Comparison of measuring result between the suggested and Canny algorithm

2.2.3 图像二值化

经过边缘检测算子对图像的上述处理后，需要进一步对图像进行二值化，才能最终得到边缘信息.

二值化图像实际上就是对图像设定阈值，对于满足阈值约束的像素被最终标记为边缘，不满足约束的像素被丢弃.在一幅二值化图像中，非边缘的像素标记为0，边缘像素标记为1.在这一步骤中，阈值的设定是至关重要的，直接关系到二值化结果的好坏.在本次实验中，设置了两个阈值，一个是固定阈值，一个是浮动阈值，这种方法表现较好.

首先考虑在一幅理想的经过边缘算子处理过的图像G中，背景的值为Min，实际边缘处的像素值为Max.要分割这二者，阈值t的取值范围为Min

(5)

假设E是图像G中各点值的数学期望，g是G中取值高于E的像素的数学期望与E的差.显然有

(6)

因而

Min

(7)

令

t=E+g.

(8)

将式(8)代入式(5)就得到一个完整的边缘判别式.

在这种理想的图像中，t能正确地分割出边缘与背景.可以想象，在这幅图像中，如果背景不是单一的取值为Min，而是由于纹理和若干噪声的存在而造成若干的起伏，剔除掉低于E的那部分起伏像素，那么这种起伏中高于E的像素不会太多，如果此时边缘取值明显高于背景，那么t将在E和Max之间更偏向Max，背景像素仍然可以被过滤掉.

随着起伏程度的增加，直到高于E的背景像素的数量明显超过边缘像素的数量，并且这些像素的方差开始增大到一定程度时，t才会出现明显的错误划分，将非边缘部分错误判别为边缘.

实验表明，在背景中存在大量复杂而明显的纹理时，这种划分方法才会出现明显的错误，一般的人工环境，t都能工作得较好.

在实际图像中，由于光线强弱不同，往往会导致有些边缘变得很微弱，如果采用全局的t，会导致这些弱边缘被忽略，而有些背景像素的值又被光线增强，造成错误.因此可以将t局部化，在一个范围较小，但是又含有的像素数量能满足统计方法的要求即可(比如16×16的范围).此外，对于环境中人眼感觉比较光滑，但实际上像素值有一定差别的背景，可以设置一个阈值下限tg，低于这个下限的像素，全部标记为背景.这样，上述边缘判别标准可以修改成如下形式

(9)

2.2.4 算法的效率问题

按照2.2.3所述，局部阈值的确定需要以每个像素为中心，统计一个16×16的窗口后才能得出结果，处理一幅图像算法复杂度为O(N2×M2)，以一幅320×240大小的图片为例，统计一个像素，需要访问512个像素(第一次扫描这256个像素，得到数学期望，第二次扫描这256个像素，得到高于数学期望那部分像素的数学期望，前后总共相当于访问了512个像素)，整幅图像访问像素的次数就达到了39 321 600次.这个算法貌似非常耗时，实际上由于很多像素的访问是重复工作，稍做近似并给予优化，效率可以提高许多，算法复杂度变成O(N2),即扫描3次图像，就能得出结果.由于是统计结果，实际算法并不是针对每个像素做统计工作，而是设定一个小步长，跳跃着统计，具体优化算法如下.

1)将整幅图像分割为一系列8×8的小块.每个小块、该块的右边相邻的小块、下方相邻的小块以及右下方的小块总共4个小块构成一个大块.每个小块用两个变量表示，一个为E8，一个为g8.每4个小块构成的大块对应两个变量，一个为E16,一个为g16.

2)扫描一次图像，做累加，可以得到每个小块对应的E8以及每个大块对应的E16.

3)对图像做第二次扫描，对每个高于E的像素值，将其与E的差做累加，得到每个小块对应的g8以及每个大块对应的g16.

4)最后扫描一次图像，对于像素值高于E16+g16的像素，标记为边缘，否则标记为背景.

需要说明的是，在图像的最右边列小块其右边没有像素，它的E和g可以参照其左边列相邻的小块；同样，在图像最下方一行的小块，由于它的下方没有其他像素，它的E和g参照其上方相邻的小块.

2.2.5 颜色的利用

虽然单纯使用边缘检测方法可以得出所需要的结论，但是为了后期优化，提高处理速度的需要，还可以引入颜色区分方法，其方法采用的是MICHAEL等[5]提到的简单判别式方法.

假设红、绿、蓝分别用R、G、B表示，3个判别参数分别为P1、P2、P3见式(10)，皮肤颜色的判别式见式(11).

这里皮肤颜色的检测不是为了人手区域的可能位置定位，前面提到，本次实验使用的是边缘检测的方式检测人手，检测皮肤颜色的意义在于：在实践中发现，由于光线原因，人手边缘附近往往与手中心的颜色有一定的差别，这样检测出来的区域往往不覆盖手的边缘.而当手离摄像头较近的时候，手上的纹理就会在检测结果中呈现出来，这些对于寻找边缘是明显无用的干扰信息，通过识别颜色，可将它们从检测结果中过滤掉，以提高检测速度.

(10)

(11)

2.2.6 单像素边缘的获取

由于边缘是图像中变化较强烈的像素，这种变化往往不是理想的突变，而是在一个局部范围内发生的渐变，因此由以上算法得出的结果，往往不是单像素边缘，而是粗线条的边缘，为了后期处理方便，需要对以上结果求局部极大值，即对图像求偏导，则单边缘满足

(12)

实际计算中，邻域大小选择为3个像素左右基本够用.

图2是本算法对两张实际图片的处理结果示例，左边是原始图像，右边是检测结果.

图2 原始图像的单像素边缘示例Fig.2 Example of original images’ outline plotted by single pixel

3 小结

图像的边缘检测工作是图像预处理过程中最重要的一个步骤，其检测速度和检测准确性直接影响图像预处理效率.本文设计的图像预处理方法，图像边缘检测工作对检测速度和检测准确性两个矛盾做了折中处理，利用PDE模型对常规的边缘检测算法进行了一定的修改，并充分应用图像的彩色信息快速实现了对目标图像的边缘检测.人手识别跟踪模拟实验时，完成一个总流程花费80 s,而图像预处理只占了30 s.事实证明，该方法经济有效，在简单背景下能以较小时间代价快速实现质量达标的图像预处理.

[1] 齐苏敏，黄贤武，刘家盛. 利用基于颜色的自适应形状模型实现手势跟踪[J]. 计算机应用研究, 2008, 25(2): 485-487.

[2] 王修晖，鲍虎军. 基于自适应遗传算法的手势识别[J]. 计算机辅助设计与图形学学报,2007, 19(8): 1 056-1 062.

[3] 张力娜，李小林.张顺利.基于PDE的图像分解于边缘检测的一种新方法[J]. 科学技术与工程,2012, 12(22): 1 671-1 815.

[4] 蒋淑静，黑保琴,张九星,等.基于PDE的自适应各向异性图像配准方法研究[J].通信学报,2013,34(5): 192-199.

[5] MICHAEL I, ANDREW B. Condensation-conditional Density Propagation for Visual Tracking[J]. International Journal of Computer Vision, 1998, 29(1): 5-28.

声 明

为扩大本刊及作者知识信息交流渠道，加强知识信息推广力度，本刊已许可CNKI(中国知网)及其系列数据库、万方数据资源系统数据化期刊群、维普中文科技期刊数据库等，以数字化方式复制、汇编、发行、信息网络传播本刊全文.该著作权使用费及相关稿酬，本刊均用于作者文章发表、出版、推广交流(含信息网络),以及赠送样刊等用途，不再另行向作者支付.凡作者向本刊提交文章发表之行为即视为同意我刊上述声明.

河南教育学院学报编辑部

Fast Preprocessing Method of Video Image Data Based on PDE

ZHANG Tianxing

(FujianChuanzhengCommunicationsCollege，DepartmentofInformationEngineering,Fuzhou350007，China)

A fast preprocessing method of video image data based on partial differential equation method (PDE) is studied by means of hand identification and tracking simulation experiment. Color model based experiments were carried out to separate the human hand by use of edge information, color information and image frame. On the edge detection part, the detection method based on PDE probability statistics are put forward under a simple background environment,which reduces the time of edge detection to realize the fast preprocessing of video image data.

PDE； image preprocessing； edge detection； image denoising; binarization

2015-09-07

福建省教育厅B类科技项目(JB14144)

张天星(1977—)，女，福建福州人，福建船政交通职业学院信息工程系讲师.

10.3969/j.issn.1007-0834.2015.04.012

TN911.73

A

1007-0834(2015)04-0043-06