基于VPX架构的目标跟踪系统设计

王 倩,李志国,王 华,顾 鑫,费智婷

(中国运载火箭技术研究院研究发展中心,北京 100076)

·光电技术与系统·

基于VPX架构的目标跟踪系统设计

王 倩,李志国,王 华,顾 鑫,费智婷

(中国运载火箭技术研究院研究发展中心,北京 100076)

设计了一种目标跟踪系统,该系统利用立体沙盘模拟复杂地面环境,通过红外和可见光传感器采集图像数据,利用红外图像传感器来检测目标,在检测到目标的基础上,利用可见光传感器来跟踪目标。目标跟踪采用粒子滤波算法实现,为了实现对目标的稳定跟踪,结合红外传感器的检测结果和可见光图像的跟踪结果对目标模板的更新。该图像处理算法在以VPX为设计架构、FPGA+DSP为核心的高速嵌入式图像处理平台实现,最终生成目标坐标偏差来控制伺服云台的转动,使其保持在视场的中心,并输出目标跟踪图像,实现对目标的跟踪。

目标跟踪;红外/可见光成像;图像处理;VPX架构

1 引 言

在复杂多变的现代化电子战争中,地面运动目标跟踪在实战中具有至关重要的作用。现代作战要求对运动目标进行快速、准确地搜索、跟踪,以引导武器对目标实施攻击,这就必须具备“高灵敏、多功能、自适应”的目标跟踪系统。另一方面,伴随着电子技术特别是数字信号处理技术、超大规模集成数字电路技术、计算机技术和通信技术的高速发展,使得原来很多受到硬件条件限制的复杂处理算法可以完成工程实现。

本系统利用立体沙盘模拟复杂地面环境,采用可见光/红外双模成像体制作为信息源,以基于VPX架构的一体化设备为信息处理平台,构建基于FPGA+DSP的目标指示软件运行载体,结合目标识别、定位技术,完成复杂背景下的目标检测、识别、定位的跟踪系统。

2 动目标图像的特点

由于实际环境中目标运动和图像数据的复杂性,给运动目标的检测和跟踪增加了困难。目标的运动轨迹、运动速度、目标颜色与背景颜色的相似度,背景的稳定程度等因素都会影响运动目标检测和跟踪的准确性、稳定性。影响目标跟踪系统性能的因素有:

(1)光线的变化:场景中亮度的变化将会导致背景图像也发生变化,很难将这些变化与图像中由于前景目标导致的变化加以区分。

(2)背景的变动:若背景中的某些景物增加或移动并且持续了一段时间,背景模型都需要及时更新。

(3)目标的调整:前景目标的运动会导致不同的目标在背景中频繁出入,因此难以分辨背景和前景目标,增加了目标跟踪的难度。

(4)数据量大:一幅中等分辨率的视频图像的数据量大约为1MB,乘以每秒钟的播放帧数,则一秒钟的数据量约为几十MB。

考虑到以上影响目标跟踪的因素,在设计目标跟踪系统时,应充分考虑该系统可能面临的各种复杂环境,同时硬件架构的设计要便于软件算法的移植。

3 系统总体设计

3.1 系统组成

目标跟踪系统示意图如图1所示,主要由模拟沙盘、伺服云台、红外传感器、可见光传感器、一体化图像处理平台组成。

图1 目标跟踪系统示意图

沙盘用于模拟真实的地面环境,为保证地面环境的复杂性,沙盘包括河流、沙漠、草地、楼宇、树木等静态元素,动目标为按70∶1缩放的普通在轨电车,可以以0.02～0.1 m/s的速度在沙盘中循环穿梭。

一体化图像处理平台上电工作后,通过外部接口接收红外传感器和可见光传感器采集的图像数据,分别进行红外图像的目标检测、可见光的目标检测和跟踪,并提取两类图像数据进行协同跟踪,获得目标坐标偏差,根据协议生成控制指令,并将控制指令通过485接口输出至伺服云台,云台根据控制指令移动并进行角度调整,保证红外成像器和可见光成像器追踪在轨电车,使其处于视场的中央。

3.2 一体化图像处理平台

一体化图像处理平台是该系统的重要组成部分,只有处理平台具备极快的反应速度,才能及时地识别目标、快速精确地捕获和跟踪目标,实现有效的防御和攻击。

本系统中的一体化图像处理平台采用了VPX架构进行设计,平台示意图如图2所示[1]。平台机箱采用加固导冷结构,可适应30 G/11 ms的冲击环境,支持串行高速通信协议。机箱后部安装背板,作为内插板间的数据通路。机箱前部安装前面板,放置了RS422、1553B、LVDS、网口的电连接器和工作指示灯。图中可见的卡槽为内插板的槽位,插入标准3U尺寸的电源板、主控板和两块图像处理板。

图2 一体化图像处理平台示意图

a)电源板

电源板设计遵循VITA46标准,通过背板的P0接插件为机箱内的其他功能板提供工作电压,其中5 V的功率最高可达115 W,12 V最高可达384 W,高功率允许子卡集成更多的功能,也避免了多电源带来的电磁兼容等问题。

b)图像处理板

一体化图像处理平台中插入两块设计一致的图像处理板,分别对红外图像和可见光图像数据进行处理。

图像处理板接收传感器的视频信号,并对每帧图像进行处理,由于图像处理的数据量大、任务重,故以FPGA+DSP为核心搭建。选用 XILINX公司V5系列XC5VSX95T-1FF1136 FPGA和TI的DSP芯片TMS320C6678。其中FPGA完成图像数据预处理和接口控制,DSP完成图像检测跟踪算法[2]。

如图3所示,图像处理板包括FPGA芯片、DSP芯片、视频编解码器、SDRAM和FLASH等。由传感器输入的模拟视频信号经SAF7113采样后,转换为包含亮度和色度的YCbCr 4∶2∶2格式数据,经FPGA预处理后发送至DSP,TMS320C6678运行图像处理算法,处理结束后,两路数字图像数据通过背板的P1/P2节点发送至主控板。

图3 图像处理板电路框图

c)主控板

主控板作为处理平台的核心,选用PPC+FPGA作为主处理芯片,采用VxWorks操作系统对其他板卡的温度、功率进行监管,并负责对外数据的收发以及整机工作状态的显示。在该系统中,主控板接收处理后的红外图像数据和可见光图像数据,并进行特征融合,生成被检测目标的位置偏差和控制指令,将该控制指令通过前面板的485接口发往伺服云台,调整传感器的位置和角度；同时输出锁定目标的图像信号。

d)背板

由于功能板少于5块,因此将背板设计为物理直连型拓扑结构即可实现所有板卡的全互联,板间的通信协议为串行SRIO协议,单路数据传输速率为3.125 Gbps,保证了板间高速数据的可靠传输。

采用VPX的一体化图像处理平台遵循VITA46标准,将传统处理器设计采用的板卡叠摞式结构改为插拔式,而其加固性能又远优于同类的CPCI平台,可适应各类飞行器严苛的环境指标,且支持如PCI-E、以太网协议等多种串行通信协议,极大地提升了系统的数据传输、处理能力,可并行、快速地完成复杂图像处理算法。

3.2 图像处理软件

图像处理软件包括红外目标检测、可见光目标跟踪和双模协同跟踪三个部分,其基本流程如图4所示。

图4 目标检测跟踪算法总体流程框图

a)红外目标检测

红外目标检测包括图像分割、二值图像连通域标记、目标粗检和帧间轨迹关联。

红外图像的分割以目标区域亮度高于局部背景亮度为前提,若该像素的亮度值高于它的支持窗口平均亮度值,则该像素为前景,否则为背景像素,该分割方式性能比较稳定,易于硬件实现[3]。

标记操作需对二值图像从左向右、从上向下进行逐像素的扫描。检查当前像素与之前扫描到的若干个近邻像素的连通性。假如当前正被扫描像素的灰度值为1,则将它标记为与之相连通的目标像素,如果它与两个或多个目标相连通,则可以认为这些目标实际上是一个,并把它们连接起来；如果发现了从为0的像素到一个孤立的为1的像素的过渡,就赋一个新的目标标记。

b)可见光目标跟踪

可见光跟踪采用粒子滤波算法,定义贝叶斯跟踪中目标状态如下[4]:

xk=fk(xk-1,εk)

(1)

其中，xk是目标在k时刻的状态向量,目标的状态递归估计如下:

zk=hk(xk,ek)

(2)

其中，zk是状态xk的观测值,假设过程噪声εk和观测噪声ek独立同分布。

(3)

采用颜色直方图作为目标的观测信息,对目标进行跟踪。

c)双模协同跟踪

可见光在跟踪过程中一个重要问题就是目标模板htar的更新,由于遮挡、光照变化等现象,目标的初始模板图不能适应目标形状及环境的变化,为了应对这一问题,该系统每隔20帧将可见光跟踪的结果与红外传感器检测的结果进行比对,如果两者的位置信息相差小于3个像素,则认为此时对目标的跟踪是稳定,此时将目标的模板图更新如下[5]:

因此对目标的模板直方图htar更新如下:

(4)

其中，β是更新率；η是阈值；dis是可见光跟踪结果与红外检测结果之间的距离,上式可以有效地避免模板的错误更新,大量实验验证表明：β=0.2且η=3是较好的选择。

4 实验结果

为验证系统功能,对该系统进行了实验,实验沙盘高度约20cm；云台对地高度2.5m；可见光传感器分辨率768×576,红外传感器的工作波段为8～14μm,云台调整角度为俯仰面0°～90°、水平面±360°。在轨电车以0.5m/s的移动速度运行,伺服平台的水平旋转速度为10°/s,垂直旋转速度为4.5°/s。

图像处理平台首先不加载图像处理算法,直接输出的沙盘的可见光图像,然后运行可见光与红外检测追踪算法,观测追踪结果。

图5为未进行图像处理的沙盘可见光图像,在轨电车位于视场的左下角,未对待检测目标进行追踪。

图5 未处理的的沙盘可见光图像

图6和图7为图像处理算法运行后输出的可见光与红外图像,由图可见电车处于沙盘的不同位置时都基本保持在视场的中央,且对电车的当前位置加以标记。

图6 处理后的沙盘可见光图像

图7 处理后的沙盘红外图像

在该实验中,可见光与红外复合跟踪系统可以实现对在轨电车的准确检测与稳定跟踪,目标首次检测识别时间小于2s,目标跟踪信息更新频率可达到25Hz,目标失锁后再检测时间小于1s,满足动态跟踪的精度要求。

为验证系统与单图像处理平台性能对比,将检测算法在单块图像处理板进行了实现,单板先后进行可见光与红外检测,在进行目标跟踪生成坐标偏差,相较于系统的并行计算,单板处理速度较低,会出现重捕延迟，其实验结果如表1所示。

表1 实验结果

由以上试验结果可知,相较于单图像处理板,VPX系统对算法的处理能力更强,能稳定跟踪复杂环境中的地面动目标。

5 结 论

本文设计了一种目标跟踪系统,介绍了其系统组成结构和图像处理算法,并进行了模拟实验。实验结果表明该系统能有效捕获、追踪被检测目标。

该系统采用的多模复合技术,融合了红外与可见光两种数据源,增强了动目标跟踪的抗干扰能力,提高了指示精度；一体化图像处理平台采用了导冷体制的VPX架构,使硬件具备小型化、可重构的优点,适合安装于环境指标严苛的飞行器或武器平台中。

[1] HUANG Yongming,CHEN Jimin.Design of a vehucle computing platform based on VPX Bus[J].Measurement & Control Technology,2011,36(4):94-98..(in Chinese) 黄泳铭,陈济民.基于VPX总线的车载计算平台设计[J].测控技术,2011,36(4):94-98.

[2] LIU Yi.Design and implementation of low cost movement detection system based on FPGA[J].Video Engineering,2013,37(13):175-178.(in Chinese) 刘怡.基于FPGA 低成本动目标侦测系统的设计与实现[J].电视技术,2013,37(13):175-178.

[3] LI Xiangjun,LI Zhuang.Analysis is of image processing and recognition algorithm of infrared moving ground targets[J].Ship Electronic Engineering,2013,227:53-55.(in Chinese) 李相军,李壮.地面红外运动目标图像处理与识别算法分析[J].舰船电子工程,2013,227:53-55.

[4] GU Xin,WANG Hua,LI Zhe,et al.Particle filter target tracking based on integral covariance matrix[J].Laser & Infrared,2014,44(12):1384-1386.(in Chinese) 顾鑫,王华,李喆,等.基于积分协方差矩阵的粒子滤波目标跟踪[J].激光与红外,2014,44(12):1384-1386.

[5] YANG Guang,TONG Tao,LU Songyan,et al.Fusion of infrared and visible images based on multi-features[J].Optics and Precision Engineering,2014,2:490-493.(in Chinese) 杨桄,童涛,陆松岩,等.基于多特征的红外与可见光图像融合[J].光学 精密工程,2014,2:490-493.

Design of target tracking system based on VPX

WANG Qian,LI Zhi-guo,WANG Hua,GU Xin,FEI Zhi-ting

(China Academy of Launch Vehicle Technology Research and Development Center,Beijing 100076,China)

In this paper,a target tracking system is designed.The system simulated a complex ground environment by utilizing a sand table and adopted infrared and visible sensor to collect image data,and then the target is detected by infrared image sensor and the target is tracked by visible sensor.Particle filter algorithm is used to realize target tracking.To realize the stable track,target template is updated according to tracking results of two kings of sensors.The image processing algorithm is realized through image processing platform based on VPX and FGPA+DSP.The rotation of servo is controlled by target coordinate deviation,and the target is kept in the center of viewing field,which realized the target tracking.

target tracking;infrared/visible imaging;image processing;VPX

王 倩(1983-)，女，硕士，工程师，主要研究方向为信号与信息处理。E-mail：aoranqian@163.com

2014-11-19;

2014-12-20

1001-5078(2015)07-0839-05

TN29

A

10.3969/j.issn.1001-5078.2015.07.023