分布式互动投影系统多路视频图像捕获仿真

李翠玉，冯媛亮

(湖北工业大学工业设计学院，湖北 武汉 430068)

1 引言

现阶段，互联网与多媒体技术正在蓬勃发展，应声而出多种多样的操作系统，二者融合产生的互动投影[1]被广泛应用在社会的各个领域中。常用的如智能视频通信、多媒体实时会议、Surface互动平台[2]等，通过上述技术和设备可以和处于不同环境的人进行实时视频数据交流。但是，完成分布式互动投影系统的前提，是对视频图像进行捕获和采集，随后才能确保所有信息都能够完整的传输到对方计算机中。但是，生产厂家配备的系统多半只使用一台PC设备[3]来进行互动投影，所产生的图像尺寸小且视频质量低，甚至难以分辨目标区域，不能满足所有用户的现实需求，因此构建一种视频流程、画面清晰分布式互动投影系统多路视频图像捕获方法是十分必要的。

相关领域研究学者提出如下解决方法，智宁[4]等人为了应对在现实生活中图像存在的自然波动，提出基于照度调整的矿井非均匀照度视频图像增强算法，将得到视频数据的地点定义为动态环境，随后利用图像捕获模块对环境中的目标个体进行数据采集，并做实时存储和传输处理，利用动态局域网捕获技术可以完成个体与个体的独立交互，该算法可以自主进行视频数据的存储和传输。具有良好的平衡误差能力，但是图像质量难以进一步提升。王丹[5]等人为了有效提升视频分辨率，通过微距设备进行图像捕获，并使用计算机能够支持的最大分辨率进行视频图像处理，但是该方法受环境和硬件设备限制较严重，无法很好的应用在现实生活中。

针对现有手段的不足，构建分布式互动投影系统多路视频图像捕获方法，能够有效提升分辨率，进一步扩大图像尺寸，使用户能够方便快捷的向对方进行互动投影，实现数据的实时共享，具有优秀的捕获精准度和效率，与其它手段相比，使用多路视频图像捕获的分布式互动投影系统运行流程，视频传输稳定，其鲁棒性具有明显优势。

2 分布式互动投影系统框架

在实现分布式互动投影系统多路视频图像捕获之前，需要分析分布式互动投影系统。该投影系统使用的是分布式互动结构[6]，其中含有一个中心控制节点以及若干个辅助捕获设备子节点，利用传感器网络进行连接。子节点为多台互动投影设备，通过无缝拼接对捕获到的图像进行处理，同时存储在计算机中，另一方面，设置多路摄影机，使系统的捕获面积进一步扩大。

基于目标个体的交互投影主要分为图像捕获、视频数据处理以及目标个体交互分析三方面。在传统可移动交互投影系统中，PPP模块处理交互事件的全部流程，中心节点只能存储事件数据，并不能参与全局交互分析。因此在所提方法中，系统构架子节点只涉及视频图像捕获和加强处理两部分，由中心节点进行接收和整理全局子节点数据，从而完成视频的交互分析和传输。这样就有效解决了多路视频图像画面交互重叠，导致分析结果不够精准的问题。

分布式互动投影系统流程：

首先，通过子节点上的摄影机捕获多路视频画面，将其简单数字化后传输至中心控制节点；

其次，总子节点交互分析全部图像数据，将交互事件和时间控制阀反向传输回位于子节点的展示程序中；

最后，根据事件的逻辑顺序，使用分布式交互投影设备建立逻辑序列，并生成实时画面，经过拼接矫正和投影加强后播放出来。

综上所述，流程及框架结构如图1所表示。

图1 分布式互动投影系统流程及框架结构

3 多路视频图像捕获

3.1 视频画面同步捕获过程

通过第2节中对分布式互动投影系统框架的分析可知，分布式互动投影系统中含有若干子节点，任意节点都需要与多台摄影器材连接，从而完成多路图像捕获。为了使得到的视频图像时间序列是相同的，必须对摄影机实行同步控制。该技术通过系统中心节点依次发送至各子节点，再由子节点同时发出捕获信号，控制所有摄影机在同一时间拍摄视频，保证时序的一致性。但是摄影机的价格本身就昂贵，还需要另外铺设控制线路，浪费大量时间，故在现实生活中，使用者会根据器材的特性，使用相匹配的软件来完成时间同步。

基于此，所提方法使用DS-4004HC图像捕获卡，该图像捕获卡拥有4个数字信号处理模块，可有效解决SDK卡捕获图像时间长、效率差的问题，通过异步回调手段获得当前视频图像。DS-4004HC的工作流程为：构建4条线程，任意线程处理单个数字信号回调数据，并利用异步回调捕获相应摄影机的拍摄画面，以提升多路捕获效率。

根据上述理论，得出基于时序一致性[7]的多路视频图像帧捕获过程如下。

步骤1：通过异步手段捕获4路摄像机记录图像，将数字化结果标记并传输至相对应的数据序列中；

步骤2：待4路摄影机都成功捕获图像，则按标记顺序将相同帧的图像存放至同一缓存区内；

步骤3：如果该缓存区序列为零，则数据直接放入；反之缓存区已有序列，则替换原有数据；

步骤4：子节点线程通过缓存区获取捕获图像，若该区域无序列则一直等待数据进入；若有序列则直接获取并删除。

图2为该过程同步捕获过程图。图中，缓存区空，则捕获图像1直接进入；在捕获图像3进入前，缓存区中存在未传输图像2，则将其剔除并填入图像3；缓存区中捕获图像1和3，子节点线程获取并删除；缓存区为空，子节点线程将一直等待4路摄像机重新捕获新的画面生成图像4，放入缓存区，再进行提取处理。

图2 视频画面同步捕获过程

3.2 基于GMM的多路视频图像捕获算法

根据3.1节可知，在时序一致性的基础上，实现了视频画面的同步捕获，保证了视频图像时序的一致性。但是由于传统视频图像捕获时需要判定其是否为目标个体或区域，常常会发生无前景目标展现，致使投影失联。为进一步提升多路视频图像捕获效果，提出基于GMM[8]的多路视频图像捕获算法，该算法可以有效辨别该序列中是否存在无前景目标展现，如果存在则确定目标对象，分析其操作流程。在实际环境中，多路视频图像捕获画面是持续变化的，其背景图像灰度布局分布不均衡，利用高斯混合模型(GMM)可以增强背景区域透明度，使捕获的多路视频图像存在目标区域，且图像更加清晰。

假设K是高斯模型，可以描述目标视频图像捕捉区域的灰度分布，K值的大小代表像素峰值[9]个数，即

(1)

通过GMM模型可以有效判断捕获图像属于目标区域还是背景区域，但是更为详细的部分还需要借模型创设、更新和评估三方面完成。

(2)

(3)

对模型进行初始化处理后，立即开始更新，可以对捕获图像任意帧进行操控，确定其像素均值。故需重新计算其较大方差和较小权重。

μi，t=(1-ρi，t)ui，t-1+ρi，tXt

(4)

(5)

在创设模型中，视频图像所有灰度都在高斯分布中，若其中没有能和Xt匹配的分布，那么则将Xt作为均值分配给权值最小的高斯分布，同时进行更新。这时利用式(6)将图像像素中任意高斯分布权重和反差进行分配，即

ωi，t=(1-α)ωi，t+1+αMi，t

(6)

其中，如果将第i个高斯分布和Xt相互匹配，结果为Mi，t=1，反之Mi，t=0。通过公式把所有权重都重新分配，并将结果分析整理，完成评估的预处理。

3)模型评估。将ωi，t/σi，t比值按大小构建序列，同时创设模型图像像素也按规则形成序列，式(7)即为相应规则

(7)

在完成相应排列的高斯分布中，提取在B前的所有高斯分布，并当作视频图像中最优秀的布局。随后，Xt和B个高斯分布相互匹配，如果Xt和B之前的任意一个能够完成匹配，则该像素为前景点，反之则为背景区域点。通过该算法能够更加简便的捕获到清楚的视频图像。

3.3 视频图像去噪加强

对于实时捕获的视频来说，噪声会影响部分图像质量，若噪声过多则会使有效信息被隐藏，为了进一步加强捕获结果清晰度，将上述步骤获得的图像进行去噪和增强处理。常使用小波或多边滤波去除噪声，在这里选择PED对其进行处理。设定原始图像灰度是uo(x，y)，经过模糊扩散后处理结果是u(x，y)，则基于PED的去噪模型为

(8)

图像增强则选用经典RL算法[10](Richardson-Lucy)，首先通过泊松统计对图像做模型化处理，并利用极大似然评估其清晰图像，故捕获视频图像的RL算法迭代函数为

(9)

式中，k为函数迭代次数。随着k值的增大，fk+1(x，y)可以不断逼近理想状态下捕获视频图像，实现去除模糊的目的。主要步骤如下：

首先，输入从缓存区获得的捕获视频图像g(x，y)；

其次，基于PDE模型去除图像噪声，获得处理后图像u(x，y)；

最后，基于RL算法对u(x，y)进行模糊细节加强处理，并假设f0(x，y)=u(x，y)是初始条件，重复迭代计算直至图像呈现理想效果。

综上所述，完成对分布式互动投影系统多路视频图像的有效捕获。既保证了视频图像时序的一致性，又降低了噪声对图像质量的影响。

4 仿真和数据结果

为验证分布式互动投影系统多路视频图像捕获方法的有效性，进行仿真。仿真使用的PC端为Intel Pentium 2.8GHz双核CPU，子节点连接的是DS-4004HC多路视频图像捕获卡，任意摄影机分辨率为320*320，使用2*2的图像拼接，全部硬件设施用1000Mbps传感器网络连接。同时，为了实现理想状态下数据一致性，使用摄影机内的漫步模式进行视频图像捕获，捕获时间为每5s捕获一张图片，并使用UG5软件保证不同图片之间的稳定衔接。

多路捕获视频图像拼接效果评估。在理想状态下捕获画面和互动投影显示图像要相互对齐，但在现实生活中，因为硬件设备安装位置、拍摄角度以及镜头晃动等因素的干扰，会产生不同投影效果。

图3 投影图像几何校正

图3是多路捕获视频图像的拼接效果，其颜色较深的是网格是校正处理画面，至此确定了互动投影显示区域。

视频图像捕获和互动投影器材之间是多对多关系，只要确定捕获画面能够将投影区域完全覆盖。但是，由于安装线路、摄影机焦距等诸多变量的影响，一般投影仪采用并排的方式进行工作。完成几何校正处理后，按照摄影机的排列方式将图像显示区域分割为X×Y个模块，任意模块都存在相对应的摄影器材，并设定标记点，图4为多路捕获图像拼接效果。

图4 多路捕获图像拼接

分布式互动投影系统效率评估。仿真数据为16名使用者的现实运动情况，将视频图像分割成16*12个模块，使用三种手段把子节点更新数据发送至缓存区域，记录CPU和总服务器处理帧数(Mbps/fps)。详细测试结果见表1。

表1 三种发送手段下CPU和总服务器处理帧数

仿真数据表明，假设在传感器网络中，实际环境下最高使用率是70%，则直接发送，系统可以处理大概10个子节点；Bit编码的占用量相比直接发送要小，可以处理80个左右的子节点。模型更新后，视频的每一帧都需要重新传输40个模块，相比Bit编码，占用率更小约为20%，系统能够处理500个上下的子节点，最大程度是提升了分布式系统的伸缩性。

表2 系统延迟结果

由测试结果得出，运用所提方法对分布式互动投影系统中的多路视频图像进行捕获后，使得系统的宽带占用率低，在子节点数量增加后，系统延迟并没有受到过多影响，扩展性能优秀。当其中含有四个子节点时，总延迟均值都小于3帧，使用者没有明显感觉，说明系统鲁棒性高。

5 结论

所提方法使用多台PC硬件建立分布式结构，提升系统捕获范围，扩大图像尺寸且增强分辨率，使投影获得更为精确的交互分析。同时，利用基于GMM的多路视频图像捕获，让背景区域更加透明化，并使用PED和RL对缓存区数据做去噪和图像加强处理，进一步突显目标个体区域特征向量。仿真数据证明，该方法捕获时序性强，运行速度快，可以应用在各类计算机内，具有优秀的鲁棒性，可以广泛应用在日常生活中。在接下来的研究中，会在三维空间内对使用者行为进行交互分析，并尝试隔空操控。