Linux和Android手机终端的WiFi视频监控系统

沈显庆，张炜玮，常佳龙

（黑龙江科技大学 电气与信息工程学院，哈尔滨150027）

引 言

近年来，随着嵌入式技术、无线通信技术和多媒体技术的快速发展，视频监控正在向着数字化、网络化、无线化方向发展[1]。由于嵌入式系统具有集成度高、功耗低、体积小等优点，再结合无线网络组网灵活、可扩展性好的优势，无线视频监控与有线视频监控系统相比，体现出了无法比拟的优越性[2]。本系统利用USB摄像头采集数据。由于S3C6410处理器内置了（高性能多媒体处理器）硬件编解码模块 MFC（Multi-Format Codec），其将采集到的图像数据压缩为高效的H.264编码格式，在S3C6410处理器的控制下通过WiFi发送至无线网络，这样用户可随时随地通过Android手机客户端实现实时的视频监控。

1 系统总体设计

本设计采用服务器/客户端的架构，服务器以S3C6410开发板为控制板，以Android手机为客户端，服务器和客户端通过WiFi进行通信。服务器由嵌入式硬件平台、嵌入式操作系统和应用程序组成。硬件部分由S3C6410主控制板、USB摄像头、WiFi组成；操作系统由s3c-Linux-2.6.23内核、YAFFS文件系统、摄像头驱动程序、MFC驱动程序、网卡驱动程序组成；应用程序由视频采集、视频压缩编码和数据发送程序等组成。采用WiFi无线网络作为传输媒介，通过无线网卡接入到接入点AP。客户端为Android手机，利用Android提供的各种API函数来实现功能要求[3]。USB摄像头采集视频数据，经过内置的DSP芯片处理将其转化为YUV格式的图像，再通过USB接口传送到主控制板上。主控制板通过内置的MFC模块将YUV格式图像压缩为H.264编码格式，并对视频数据进行处理、存储，然后利用WiFi将其发送至无线网络。Android手机客户端，通过客户端软件可以实时读取视频流。服务器和客户端都采用宿主机和目标机的交叉开发模式[4]。

本文的研究分以下几步进行：

①系统环境的搭建，包括Bootloader、内核、根文件系统的移植；

②USB摄像头驱动程序、MFC驱动程序、网卡驱动程序的移植；

③V4L2的视频采集和H.264的视频压缩编码；

④RPT协议的数据传送；

⑤Android手机客户端的数据接收和界面显示。

2 系统基本网络拓扑

WiFi是一种成本低、传输速率较高、可靠性高、组网灵活、扩展性强的短距离无线通信技术。WiFi有两种基本工作模式，Ad hoc自组网络模式和Infrastrcucture组网模式。本系统采用有线和无线相结合的开发模式，WiFi采用Infrastrcucture模式组网，以无线路由作为接入点AP。服务器通过无线网卡与接入点AP相连，接入点AP通过有线链路与IP网络连接，接入到互联网。AP将无线链路和有线链路连接起来，组网方案如图1所示。视频流通过无线链路发送到接入点AP，这样Android手机端可以通过3G或WiFi网络实现远程的实时视频监控。

图1 组网方案

3 系统硬件设计

硬件系统主要由S3C6410微控制器及其外围电路、USB摄像头、USB无线网卡、Android手机等组成。考虑到视频数据的存储选用1 TB的移动硬盘作为存储介质，硬件组成框图如图2所示。

图2 硬件组成框图

3.1 S3C6410微控制器及其外围电路

S3C6410是一款以ARM1176为处理器核，低功耗、高性价比的RSIC微处理器，提供了存储控制器、USB控制接口以及丰富的外设接口，内置了多格式编解码器MFC。NAND Flash用于存储系统程序，SDRAM则用于存储系统运行时的程序，JATG接口用于烧写程序，RS232接口用于与PC机进行交互[5]。

3.2 摄像头

由于MFC只能从YUV数据转化为H.264格式，所以摄像头采用输出格式为YUV的USB摄像头。此类USB摄像头由图像传感器芯片和DSP芯片两部分组成。景物的光学图像照射在图像传感器上，产生电信号，经A/D转换器转化为数字信号，经DSP芯片处理加工生成YUV格式的图像，通过USB传送至主控制板。

3.3 无线网卡

本系统采用USB接口的TP-Link TL-WN322G WiFi无线网卡，传输速率为54 Mbps。较高的传输速率足以满足视频信息的传输要求，覆盖范围室内最远100 m，室外最远300 m。在微控制器的控制下，将其连接到无线路由，无线路由与互联网连接。

3.4 Android手机客户端

Android是以Linux为内核的手机操作系统，由于其源代码的开放性和丰富的硬件选择，促进了Android应用的快速发展[6]。基于Linux的Android手机可以与各种嵌入式Linux系统进行通信，手机Android成为视频监控系统的主流[7]。

4 系统软件设计

服务器端视频采集与编码分为硬件部分和软件部分。硬件部分负责视频数据的采集、编码；软件部分负责基本系统环境的建立、视频流的获取及发送。客户端软件部分负责视频数据的获取、解码及显示。

4.1 系统环境和驱动程序的移植

本系统采用Bootloader引导系统、s3c-Linux-2.6.23内核、YAFFS文件系统来构建嵌入式系统环境。Linux操作系统可根据硬件需求进行软件裁减，构建合适的软件环境。

首先，执行 make menuconfig，选择 Multimedia support下的选项支持UVC摄像头，在USB support、HID Devices、SCSI device support中添加对USB总线驱动的支持，选择 USB support、HID Devices、SCSI device support下的选项支持MFC驱动。然后，执行make uImage，编译生成内核。

4.2 V4L2视频采集程序的设计

视频采集程序采用V4L2视频驱动标准，基本流程是：打开视频设备→设置格式→处理数据→关闭设备。通过Linux系统提供的open、ioctl函数来访问视频设备。Linux设备用文件表示，视频设备在/dev/video目录下，可以像普通文件一样去读写。采集到的图像信息是YUV420格式的，MFC可以直接对其进行压缩。具体步骤如下：

①调用函数open（“/dev/video0”，O＿RDWR｜O＿NOBLOCK，0），以可读可写、非阻塞的方式打开视频设备。

②设定视频设备属性，调用ioctl（fd，VIDIOC＿S＿FMT，＆fmt）设 置 视 频 格 式，ioctl（fd，VIDIOC＿REQBUFS，＆req）分配 内存空间，mmap（NULL，buf.length，PROT＿READ｜PROT＿WRITE，MAP＿SHARED，fd，buf.m.offset）将物理地址转化为内核地址。

③程序采用双缓存的机制来采集数据，ioctl（fd，VIDIOC＿DQBUF，＆buf）将缓冲中的数据发送出去。与此同时，ioctl（fd，VIDIOC＿DQBUF，＆buf）采集一段数据放到另一个缓存中。此方法可以提高程序执行的效率。

④调用close（fd）来关闭视频设备。

4.3 H.264视频压缩程序的设计

USB采集的视频流数据量非常大，若直接传输会增加系统负担，难以满足实时性要求。在嵌入式系统中大多采用H.264编码，与其他压缩标准相比，其压缩比高、误码率低、视频质量高、容错能力强，特别适合于网络传输[8]。本设计利用 MFC硬件模块将YUV数据转化为H.264视频流，降低了数据流量和网络带宽的占用，最大限度地提高了压缩比和传输速度[9]。H.264视频压缩具体步骤如下：

①调用open（MFC＿DEV＿NAME，O＿RDWRW｜O＿NDELAY）打开MFC设备；

②映射空间 mmap（0，BUF＿SIZE，PROT＿RERD｜PROT＿WRITE，MAP＿SHARED，mfc＿fd，0）；

③配置编码格式ioctl（mfc＿fd，LOCTL＿MFC＿H264＿ENC＿INIT，＆enc＿init）；

④获取输入输出缓冲区ioctl（mfc＿fd，LOCTL＿MFC＿H264＿ENC＿INIT，＆get＿buf＿addr）；

⑤进行 H.264编码ioctl（mfc＿fd，LOCTL＿MFC＿H264＿ENC＿EXE，＆enc＿exe）。

4.4 视频传输程序的设计

由于TCP的三次握手连接和错误重传机制，系统开销较大，不能满足视频数据的实时传输。本设计采用无连接的UDP协议进行视频数据的传输，但是无法保证数据的完整性。为了保证视频流的实时性和同步性，针对UDP的不足，采用RTP通信方式，RTP建立在UDP之上，将数据封装后使用UDP协议进行数据传输。由于本设计基于Linux系统，所以RTP程序采用现成的C语言oRTP库进行开发。RTP的关键步骤如下：

①调用orpt＿inin（）、ortp＿scheduler＿init（）完成oRTP库的基本初始化；

②rtp＿session＿new（）创建rtp对象，接着设置rpt对象的客户端IP和监听端口；

③发送数据时调用 rtp＿session＿send＿with＿ts（）库函数；

④发送完毕后调用rtp＿session＿destroy（）；销毁RPT对象，ortp＿exit（）关闭oRTP库资源。

4.5 Android手机客户端

Android客户端采用分层的设计思想，各模块之间相互独立工作，降低了系统的复杂程度。整体结构从下到上分别为视频数据获取、视频数据的解码、视频数据的显示以及用户界面4个功能。首先，客户端通过3G或WiFi网络从服务器端进行验证请求，请求信息包括用户名、密码、IP地址和端口号；验证通过后，接收服务器端发送的视频数据，并将其放到视频缓冲区中。然后将经过H.264和RTP编码过的视频数据去除包头信息，对无序的数据进行组帧，再对其进行解码。最后，将视频数据在用户界面上播放。结构模块图如图3所示。

图3 结构模块图

5 系统运行效果测试

测试分两种方式进行，一种在小米2S手机上，另一种在Nexus 7平板电脑上。在登录界面上输入设备名称、地址、端口号、用户名和密码，分别用3G网络和 WiFi网络来访问服务器。选取3个不同的地点进行了12次测试，每次测试1 min，统计客户端接收到的帧数。测试结果表明，客户端不受地点的限制，每秒能接收约12帧，视频数据流畅，没有出现失帧现象。

测试结果如表1所列。测试效果如图4所示。

表1 测试结果

图4 测试效果

结 语

本系统实现了一种基于嵌入式Linux操作系统和Android手机终端的远程视频监控系统。利用3G或WiFi进行数据通信，用户能够随时随地地监控。与传统的监控系统相比，增强了整个系统的灵活性。由于Linux的可移植性强，客户端还可移植到Android系统的平板电脑上，用户通过WiFi接入到互联网，即可实现视频监控。在后续的研究中，可在此基础上，服务器端增加了多摄像头监控、视频数据的存储，客户端增加图像处理、云台控制、视屏回放等功能。随着嵌入式技术和3G/4G移动通信技术的不断成熟，基于Android手机的视频监控系统将具有良好的应用前景。

[1]许雪梅，周文，徐蔚钦.基于ARM9＋Linux的无线视频监控系统的设计[J].计算机测量与控制，2010，18（11）：2475-2477.

[2]马资道，张正炳.基于ARM-Linux的无线视频监控系统的设计与实现[J].长江大学学报，2010，13（12）：605-607.

[3]谢慧芝，刘晔，彭煜，等.基于Android的嵌入式加密视频监控系统研究应用[J].电视技术，2014，38（3）.70-72.

[4]张雅楠，杨璐，郑丽敏，等.基于Android手机的远程视频监控系统的设计与开发[J].计算机应用，2013，33（1）：283-286.

[5]Samsung Electronics.S3C6410x 32-bit RISC microprocessor user＇s manual（revision1.2）[EB/OL]，2007[2014-04-15].http：//www.samstmg.com.

[6]杨明极，毕晶.基于Android客户端的设计[J].电视技术，2012，36（3）：43-47.

[7]魏崇毓，张菲菲.基于Android平台的视频监控系统设计[J].计算机工程，2012，38（14）：214-26.

[8]Kostas Pentikousis，Jarno Pinola，Esa Piri，et al.A Measurement Study of Speex VoIP and H.264/AVC Video over IEEE 802.16d and IEEE 802.11g[J].Computers and Communications，2008，6（9）：19-24.

[9]Atul Puri，Chen Xueming，Ajay Luthra.Video coding using the H.264/MPEG-4 AVC compression standard[J].Signal Processing Image Communication，2004，19：793-849.