无人机图像压缩与实时传输系统设计

高泽军，魏本杰，许 睿

（1.中国科学院国家空间科学中心 北京 100190；2.中国科学院大学 北京100043）

无人机图像压缩与实时传输系统设计

高泽军1，2，魏本杰1，许 睿1，2

（1.中国科学院国家空间科学中心 北京 100190；2.中国科学院大学 北京100043）

为满足无人机航拍图像传输对输入码率、压缩率、复杂程度、分辨率大小、数据传输实时性等诸多方面的要求，此设计致力于研究一套基于FPGA+两片ADV212+两片SDRAM为架构的高性能无人机图像压缩与实时传输系统。系统采集图像的原始数据通过FPGA控制进入缓存，之后再由FPGA控制分别进入两片高速压缩芯片ADV212。两片ADV212同时进行压缩工作，可以极大提高数据的压缩与传输速率。同时，两片SDRAM作为系统的数据缓存，数据传输过程中的可靠性也可以得到保证。实验结果表明，此系统确保了图像实时传输的高质量，具有良好的工程可操作性和应用价值。

图像压缩；系统架构；ADV212芯片；实时传输；JPEG2000标准

近些年来，随着无人机技术的不断发展，其已经应用到军事和环境监察等诸多领域［1］。此外，无人机的有效载荷内通常会装有很多成像设施，这主要用来及时获取各类图像信息。另外，由于无人机系统的信息下行信道带宽通常较短，故信息的传输速度往往在很大程度上落后于获得图像的速度，如果无人机采集的图像数据没有经过压缩处理就直接传输给地面接收站，就会要求发射机能够传送大量的数据，并且会占用庞大的信息通道。

结合具体的项目进行分析发现，仅采取提升存储器容量或提升信道传输率的措施并不能够实现对以上问题的完善解决［2］。而利用数据压缩方法以减少获取的信息量，则能够更加完美的应对这个问题：既能够减小所需存储器的容量，这在很大程度上缩小了系统实物的体积也降低实际项目的应用成本，而且又能大量降低传输数据量从而达到提高传输效率的效果。

针对上述的需求研究，本篇文章以此为基础设计了一套以JPEG2000编码芯片——ADV212为主的图像压缩处理系统，并且充分利用SDARM以及FPGA有关芯片的技术手段来加强其数据压缩的稳定性、可靠性，并大大提高其传输速率等各方面性能。此系统的关键芯片是ADV212，将SDRAM当作数据传输的缓存，并通过FPGA对图像序列进行帧组处理，通过FPGA实现对ADV212的配置和数据流管理。为了防止告诉传输过程中出现错误而导致数据流失，本设计使用两片SDRAM作为数据传输过程中的缓存，有效地保证了传输过程中的数据可靠性［3］。

该系统有着十分快的图像压缩速度，压缩比也是比较高的，同时可以根据规定的比例进行压缩处理，还具有功耗低，稳定性强的优势，能够完美应对无人机图像对压缩比、压缩和传送的及时性等方面的要求。

1 系统的总体需求分析

根据实际的项目具体需求的提高，本设计对该项目中的无人机图像压缩与传输部分的总体技术指标分析如下：

1）处理图像的系统对于数据的传送速度、数据之间交换的稳定性的要求也是日益增加，这就急需一个比较统一的规定来保证不同的图像采集卡与相机之间的兼容性。CameraLink不但能够保证图像采集卡与相机在高速传送下的强稳定性，同时在很大程度上减少了客户的研发成本［4］。CameraLink这个接口利用低差分的信号准则实施信息输送，相较于传统接口，具有输送快、功耗低、不易被扰等优势。

2）本设计服务的具体项目的任务特征是相机拍摄的图像视野广，帧频比较低，并且图像是运用到高空侦察上，所以要对适用于该项目的压缩图像规定进行论证与选择。通过诸多分析，最终决定选取JPEG2000准则作为此次设计的图像压缩准则。

3）相机采集图像尺寸为10 M像素，每秒6帧，8 bit，则输入速率为480Mbps；图像压缩芯片数据串行输出码速率为4 Mbps；这就要求数据压缩以及传输的时间要保证在1秒/幅，压缩数据串行输出的码率不应该低于4Mbps；为了能够确保原始图像进行传送，串行输出的速率不应该低于360Mbps［5］；根据项目的实际需求，要求恢复图像与编码图像无明显差异，计算可以得出结论，本设计的压缩比不能少于25倍。

本设计主要针对是实际工程项目的具体应用，因此，本设计实现的系统能够满足以下几点基本要求：

1）采用JPEG2000标准的图像压缩算法并采取专业压缩芯片以硬件方式实现，在经历压缩与传送之后能保证较好的质量；

2）系统对于图像进行压缩和传输处理的速度是很快的，压缩后的传输速率完全可以跟上原始数据的采集输入速率；

3）在一定程度上可以对压缩比进行合理的调节；

4）简易的接口，使得系统能够适用于不同的工作平台。

2 系统的总体架构设计

根据我们对国内外JPEG2000压缩方法的详细调查与研究，研究表明能够实现该算法的方式主要有以下3个：

1）基于DSP的压缩算法编程实现方式；

2）基于FPGA的压缩算法逻辑设计实现方式；

3）基于专业压缩芯片的实现方式。

但是依据当前的研究情况而言，JPEG2000压缩算法十分繁琐，所以，无论在DSP中设计者可以避免繁琐的底层逻辑时序问题，或选择把JPEG2000压缩准则完全复制到PFGA上来，能够极大的增加并行处理的速度，然而目前的这两种技术还不够成熟，算法的工作稳定性也不高，压缩效果不是很理想，很容易出现问题，十分不利于无人机的高空侦察作业。

综合利弊，我们直接采用趋于完善的JEPG2000专业压缩芯片，客户需要自己去研发底层的逻辑系统，或者去处理复杂繁琐的压缩算法的逻辑设计实现难题，设计者仅仅只要考虑压缩芯片的参数配置来运用有关的功能即可。采用这种类型的压缩芯片的优点就是技术相当成熟，较好的压缩性能，比较稳定的工作，另外还具有良好的可操作性。

图像压缩模块是本系统的核心设计环节，通过对ADV212和SDRAM的设计，FPGA等芯片共同工作的系统电路的实践。在FPGA的控制逻辑是由压缩的图像压缩模块完成，并与外围电路的通信是通过模块实现。图像压缩模块用于接收原始图像数据，将图像和数据的参数进行分离，然后将图像分为块，然后按照预定的格式将压缩码流包装。

所设计的压缩图像系统的原理框图如图1所示，其电路主要由以下几部分组成：2片ADV212压缩芯片，1片FPGA，1片晶振，2片SDRAM，1片同步422串口芯片，3片LDO电源转换芯片，1片LVDS串口芯片，还有其他TTL与LVDS电平转换芯片等。

图1 图像压缩传输设计原理图

3 压缩模块的传输设计

1）Cam link相关硬件电路设计

相机的CameraLink讯号基本包含了高速相机管控讯号、低速串行通信讯号、高速视频讯号3种讯号。此外，通常情况下，电源并不存在CameraLink连接器内，在电源方面，往往会配置专门的电源接口。2组LVDS讯号均当作图像收集设备与相机之间的异步通信讯号。

此设计中的串口通信部分包括SerTC与SerTFG两组信号，他们通过电平转换芯片与图像采集模块电路实现异步通信。这两组信号传输速度最低为9600bps，主要实现了从图像采集电路模块的指令信息传输到相机和反馈信息，从摄像头图像采集模块。

硬件电路如图2：相机使用MDR26实现图像采集卡的接口和LVDS电平转换接口电路，包括4对LVDS摄像头数据信号的信号，1对LVDS相机时钟信号，2双摄像头和串行通信信号；FPGA的水平转换电路和LVDS接口，主要的信号是24 TTL电平数据信号，4个TTL电平数据控制信号，4TTL电平控制信号相机和2 TTL电平的串行通信信号［6］。在串口通信模块内，驱动器方面主要运用的是SN65LVDS048APW，其把通过相机获取的SerTC LVDS讯号变换成TTL讯号并传送到串口。采用驱动芯片SN64LVDS047PW作为接收器将来自串口的SerTFG TTL信号转变为LVDS信号，并且传送给相机。相机的控制环节运用驱动芯片SN64LVDS047PW来当做一个接收器，它能够接收从串口的四组TTL相机发出的控制信号CC1、CC2、CC3、CC4，并且把它们转化为LVDS信号，在一定程度上对相机实行控制。

图2 CameraLink接口构造图

来自于相机的4组LVDS数据信号与一组LVDS时钟信号在LVDS转换芯片的驱动下转换成为24位数据信号从CAMLINKO一直到CAMLINK23，相机的时钟信号CAMLINKIN_CLK以及4位相机数据的控制信号FVAL，DVAL，LVAL，SPARE。以上的这些控制信号都是十分有效的。输出的像素数据位依据不一样的规定会有不一样的位数，选用德州仪器的SN65LVDS94当作主芯片以达到LVDS转换的目的。

2）ADV212图像压缩

ADV212是一个以JPEG2000标准为基础的的专用编解码芯片，适合静止图片与视频的压缩处理时使用。ADV212的功耗相比同类型的芯片ADV202至少降低了30%［7］。通过不同的内部寄存器配置，ADV212可以在多种模式下工作，适合不同系统对压缩模式的需求。

该系统由FPGA控制两片ADV212。图像数据压缩为ADV212。压缩后，该块的参数被存储在缓冲区中。由此，此次设计采用ADV212用于实现压缩的图像与JPEG2000算法一致，该芯片是实现此配置的主要芯片。

3）FPGA控制

本设计选择Actel公司的A3P1000芯片，这款芯片具有可达350 MHz的工作主频，极快的I/O响应速度（＜100 ns），700 Mbps的DDR，高速的运行能够效果能够完成本系统对于实时传输的要求。另外，这款芯片拥有足够多的I/O口数量，完全能够满足本系统对两片ADV212、CameraLink电平转换以及其他外设对于数据传输或者芯片控制的要求。

FPGA是此系统的核心处理芯片，主要任务就是与外界的其余电路之间进行一个互相之间的通信，同时也负责处理交织、RS编码、复接问题，最后将数据打包［8］，码流传输给发射机，或者，我们也可以将数据存储入SD卡，以便无人机返回后地面人员取出存储数据进行再次观察。

4）SDRAM图像缓存

本项目采用的高速图像数据采集模块产生的图像原始数据量相当可观，要做到实时传输，那它就对传输速率、缓存的空间做出了很强的要求。为了能够确保图像数据的可信性以及存储时的高稳定性，同时也能满足不同时钟域之间相互的数据输送，本设计选择了ISSI公司的大小为256Mb的SDRAM芯片IS42S16160G作为图像数据传输过程中的中间缓存。通过FPGA来实现对SDRAM的控制，实现原始图像数据与SDRAM之间的传入传出。

图像压缩模块通过FPGA控制SDRAM的读写，下行图像数据缓冲两SDRAM，然后根据ADV212芯片输入数据量的图像子块，然后读取图像的FPGA芯片的高速缓存，等待做图像压缩处理。SDRAM用于缓存每个图像数据，从而能够确保图像数据的不丢失。

4 数据传输特点

图3是上位机从SD卡读取的数据包内容，上位机通过相关软件，可以将数据包恢复成图像。

图3 上位机接收数据图

在上图中，左边一列是数据地址，右边部分是数据具体内容。E225是本单位数据包固定包头，随后是24位时间码，另外由描述设备状态、缓存区域大小、数据与类型、包序号、长度域大小、数据域长度和校检域大小的相关字节共同组成一个数据包。

5 实际图像处理

图4是摄像头从高空拍摄的图像源图，图像采集板将处理后的数据存储在SD卡中，上位机通过软件读取相应数据进行处理，之后还原图像如图5所示。由图4、图5对比可知，在测试条件较好，比如天气晴朗，光线充足，可见度较高的情况下，图像恢复基本无损，恢复图像也较为清晰。图6是在可见度相对较差的情况下，在同一地点、同一高度拍摄相同图像的情况下，由同一摄像头拍摄之后的恢复图像。由此可见，图像采集环境对此系统还是有很大影响的。

图4 高空拍摄图像源图

图5 高空拍摄图像处理后

图6 可见度低下拍摄后的处理图像

6 结 论

目前本设计中使用了两片ADV212芯片共同工作的方式，来加强系统对硬件资源的要求，但是受系统的一些实际状况的限制，此次所设计的系统还是有一些不足与缺点，比如：因为ADV212芯片自身处理状况的约束，在其工作过程中一次性处理的图像的尺寸有一定的限制等问题。今后的设计在实际项目应用中可以进一步运用更多的片性能更优的专业压缩芯片共同工作或者更优秀的压缩架构设计来达到无人机图像的实时压缩与传输的目的。

另外，如果无人机上的成像设备采集数据量过大，对数据下行速率提出更高要求，并导致数据压缩与传输速率跟不上相机采集数据的速度［9］，本设计的架构也需要适当优化，比如可以考虑加入DSP，来进一步加速数据处理能力。这些问题都是今后系统设计中需要思考解决的问题。

与此同时，此次设计的系统对于系统工作环境以及图像采集场景之间的适应能力方面还有许多急需完善的地方:我们在高空拍摄图片会受到天气、光线强弱、可见度高低和摄像头质量等相关因素的影响，阴天、雾霾、光线不足等环境因素都会导致我们的图片处理能力受到明显影响，这一点在上述文章中已经阐明。以上这些此设计的缺点都是以后急需进一步改良的方面。

［1］于巍巍，马晓东，孙娟，等.基于多片ADV212芯片的图像压缩系统设计［J］.空间电子技术，2005（23）：15-19.

［2］朱珂.基于JPEG2000的静态图像压缩算法及VLSI实现的结构研究［D］.上海:复旦大学图书馆，2004.

［3］郑成林，龚俊斌，刘福学，等.基于ADV202的无人机序列图像压缩系统设计［J］.计算机与数字工程，2010（17）:22-27.

［4］杨俊，鲁新平.基于ADV212芯片的视频压缩系统应用设计技术［J］.微处理机，2010（4）:119-122.

［5］陈根亮.一种基于FPGA的线阵红外图像采集与显示系统［D］.合肥：合肥工业大学，2013.

［6］陈根亮.一种基于FPGA的线阵红外图像采集与显示系统:［D］.合肥：合肥工业大学，2013.

［7］李天文，赵磊.图像采集系统的Camera Link标准接口［J］.单片机与嵌入式系统，2012（17）:31-52.

［8］周云端，何志勇，赵瑞国.基于遗传算法的加速度控制PID参数自整定研究［J］.火箭推进，2012（4）：68-71.

［9］李丹，王旭红，李向前，等.基于控制参数调整的容性逆变器容性深度研究［J］.供用电，2015（9）：63-68.

Design of system of unmanned aerial vehicles image com pression and real time transfer

GAO Ze-jun1，2，WEIBen-jie1，XU Rui1，2
（1.National Space Science Center，CAS，Beijing 100089，China；2.University of Chinese Academy of Sciences，Beijing 100043，China）

To satisfy requirements of code rate，compression ratio，complexity，resolution ratio，instantaneity of image transmission and input during aerial photographing，this thesis works on designing an effective system of unmanned aerial vehicles image compression and real time transfer which is based on the FPGA，two slices of ADV212 and two slices of SDRAM.In this system，original data of imageswill be transferred into cache，and then transferred into two slices of highspeed compressing chips，ADV212.Two slices of compressing chipswill compress data simultaneously，which willenhances compressing and transmission speed.Experimental results show，two slicesof SDRAM willbe the data-cachingmechanism of system，which will guarantee the reliability during transmitting procedure.With favorablemaneuverability and application value，thisdesign guarantees the high quality of images during real-time transfer.

image compression；system architecture；ADV212 Chip；real time transmission；JPEG2000 standard

TP335.3

A

1674－6236（2016）20-0186-04

2015-10-29 稿件编号：201510225

高泽军（1991—），男，江苏江阴人，硕士研究生。研究方向：ARM计算机的航天应用。