基于生物视觉的碰撞预警传感器*

张国鹏， 张　春

(清华大学 微电子研究所，北京 100084)



基于生物视觉的碰撞预警传感器*

张国鹏， 张春

(清华大学 微电子研究所，北京 100084)

摘要:对拥有碰撞预警能力的小叶大运动侦察器(LGMD)神经网络进行化简，以参数化方式设计电路，网络参数可以通过串口在线配置。以此为核心设计了碰撞预警传感器，FPGA综合结果表明像素处理时钟最高可达178MHz。设计了专用测试系统进行验证，在实时模式下碰撞预警传感器根据摄像头输入正确进行碰撞预警；测试模式下用视频序列测试碰撞预警传感器，其输出膜电势与软件仿真一致，表明碰撞预警传感器继承相关软件工作的碰撞预警特性。测试系统也作为硬件加速器，加快LGMD算法运行。

关键词:碰撞预警； 生物视觉； 现场可编程门阵列； 小叶大运动侦察器

0引言

碰撞预警是保证现代智能移动设备长时间可靠运行的基础技术。采用传感器融合方式的碰撞预警技术在特定应用下已取得理想效果，但成本、体积和功耗等因素限制了其在小型嵌入式系统中的应用[1]。

蝗虫个体在高密度的群迁徙过程中轻松避免碰撞的现象启发研究人员模拟其视觉网络进行碰撞预警。对蝗虫视觉系统的解剖实验，证明小叶大运动侦察器(lobula giant movement detector,LGMD)是完成碰撞预警功能的主要神经元[2]。Rind F C和Bramwell D I等人由此提出了经典的4层LGMD输入神经网络结构，采用兴奋抑制方式来检测物体靠近，开启了借助LGMD网络进行碰撞预警的研究[3]。Yue S等人引入新的神经元以增强LGMD碰撞预警的能力，证明了LGMD网络对于碰撞预警的有效性和鲁棒性[4～6]，并将其移植到微型机器人上研究群体条件下的碰撞预警能力[7,8]。

本文阐述了适合电路设计的LGMD算法，以此为核心设计了碰撞预警传感器电路，采用现场可编程门阵列(FPGA)实现并分析电路性能，同时还设计了专用测试系统。该系统可以对碰撞预警传感器进行功能验证、网络参数调整，也可作为硬件加速器，加速LGMD网络训练等研究。

1LGMD神经网络算法

LGMD神经网络存在于蝗虫的视觉通道中，结构如图1所示，它由4层神经元细胞(感知层P、兴奋层E、抑制层I、求和层S)、LGMD神经元和前馈抑制(feed forward inhibition，FFI)神经元组成。它对快速靠近的物体十分敏感，本质是由于物体靠近时不断扩张的边缘刺激使得整个网络中的兴奋迅速增加，导致LGMD神经元的膜电势急剧上升，这种变化使其具备了碰撞预警功能。本节将从电路设计角度对LGMD算法进行简化。

图1　LGMD神经网络结构模型Fig 1　Structure model for LGMD neural network

1.1感知层P

感知层捕获输入视频，对帧差做出响应，传递给兴奋层和抑制层。其神经元膜电势Pf(x,y)为

Pf(x,y)=|Lf(x,y)-Lf-1(x,y)|,

(1)

式中f为视频序列中的第f帧，(x,y)像素点在网络层中位置，Lf(x,y)为输入灰度图像的像素值。

1.2兴奋层E和抑制层I

兴奋层E直接接受感知层输出，而抑制层I接收感知层前一帧的输出

Ef(x,y)=Pf(x,y),

(2)

If(x,y)=Pf-1(x,y).

(3)

1.3求和层S

求和层神经元S汇聚抑制层对应位置邻域内的输出，对兴奋层进行抑制，结果经阈值激发后传递给LGMD神经元

(4)

式中WI为抑制权重，用来调节抑制强度；(i,j)为抑制层对应位置的邻域偏移坐标，i和j不同时为0，wI为抑制汇聚系数矩阵，其和为1，一般取满足高斯分布的矩阵，电路设计时使用3×3邻域。为避免浮点运算，将wI放大28倍化为整数乘法。Sf(x,y)为求和层的膜电势，S～f(x,y)为经阈值Tr激发后的结果

(5)

(6)

1.4前馈抑制神经元FFI

前馈抑制神经元FFI的作用是抑制视野全局移动时LGMD网络的过度兴奋。其膜电势Ff为感知层输出的累积，传递给LGMD神经元。当其超过阈值TF时，对LGMD神经元的报警输出进行屏蔽

(7)

式中nx,ny分别为整个视野的水平分辨率和垂直分辨率。

1.5LGMD神经元

(8)

(9)

1.6LGMD输出单元

采用直观方式处理LGMD神经元的后突触结构[9]。引入LO神经元，取一个时间窗口进行考察，如果长度为nd的窗口内LGMD神经元连续保持兴奋输出，则认为碰撞即将发生并进行预警

(10)

2基于LGMD的碰撞预警传感器

本碰撞预警传感器是为微型群体机器人设计的专用电路，用来研究其在群体环境中的避障行为。它的输出除预警信号外，还有FFI和LGMD神经元的膜电势，供决策参考。

2.1视频输入模块

视频输入模块的电路结构如图2所示，配置控制器读取配置ROM中的信息控制MT9D112图像传感器工作。视频流控制器将RGB565格式视频转换为灰度值存入缓存RAM。视频流发生器读取RAM产生供LGMD电路处理视频流。

图2　视频输入模块电路框图Fig 2　Circuit block diagram of video input module

2.2LGMD电路

与LGMD网络结构相对应，LGMD硬件电路的数据通道如图3所示。上部分为感知层，完成视频流捕获、帧差缓存和感知层输出；下部分为LGMD功能模块，实现抑制兴奋汇聚、求和累积、LGMD神经元激发以及报警决策。此外还引入串口配置模块完成网络参数在线配置。设计中采用帧图像行长wlen、列长hlen和像素点位宽dlen等参数，故该电路可通过元件例化处理不同格式的分辨率和像素点。

图3　LGMD电路数据通道Fig 3　Data path of LGMD circuit

2.2.1感知层

感知层的设计包含帧差产生和感知层输出两个部分。如图3的上部分所示，它由地址发生器、2片双口SRAM以及控制逻辑组成。由视频同步信号控制地址生成器工作，完成视频流的存储和产生。设计中插入若干D触发器匹配信号时序，从而复用地址寄存器和同步信号。帧差操作和感知层的输出由减法器和取模电路完成。

2.2.2兴奋层和抑制层

帧差信号与兴奋层直接相连，感知层RAM的读数据总线与抑制层相连，为时序匹配插入若干级同步缓存。

抑制层的兴奋汇聚由邻域卷积完成，采用3×3的邻域。考虑到LGMD抑制矩阵的对称性，通过将相同抑制系数的输入先做加法再做乘法，使所需的乘法器减少为2个。

2.2.3求和层

求和层为纯组合逻辑电路，由减法器将兴奋层和抑制层输出做差，通过比较器与阈值Tr比较。如差值大于Tr，输出差值，否则，为0。

2.2.4FFI和LGMD神经元

FFI神经元对感知层输出进行累加，作为其膜电势传递给LGMD神经元。

LGMD神经元电路先对求和层输出进行累加作为其膜电势，在每帧结束时如满足式(9),则受激发输出1;否则,为0，并将结果存入移位寄存器。模块的报警输出由移位寄存器中各位的与操作获得。移位寄存器长度由LGMD输出部分的窗口长度nd决定。

LGMD神经元所需的控制信号由状态机实现。通过在状态idle,pre,line,blank和output之间的切换，产生控制信号使能各单元完成运算。

2.3仿真与分析

选用Xilinx公司的FPGA芯片Virtex—5lx50t对设计进行综合和仿真，系统时钟设为100MHz。

首先验证电路功能。在testbench中将LGMD模块的参数wlen,hlen,dlen,nd,Tr,TD依次例化为6,5,8,3,300,1000等。使用两幅简单图像循环输入模拟视频输入，通过isim仿真工具观察lgmd电路内部信号可知，信号变化与理论计算一致，故电路工作正确。

使用ISE工具综合碰撞预警传感器评估性能和资源。受内部RAM限制，采用分辨率为160×120和320×240的两组参数进行综合。由综合报告可知，两组参数下最大逻辑延时均为5.6ns，处理像素频率最高可达178MHz。由此估算，对QVGA视频的处理速度可达2kfps，满足高速图像处理要求。

表1为碰撞预警传感器的资源使用率。当分辨率加倍后，电路的逻辑部分资源变动不大，RAM使用量迅速增大。

表1　资源使用表

3测试与验证

为了验证碰撞预警传感器，本文基于Genesys FPGA开发板和MT9D112图像传感器模块设计了专用测试系统。如图4所示，该系统由碰撞预警传感器、HDMI显示模块、系统控制模块、LED指示灯等构成。系统的工作频率为100 MHz，视频分辨率设为160×120。HDMI显示模块将LGMD内部各层神经元的膜电势显示在显示器上，用于观察网络内部状态。系统控制模块将测试视频下载到DDR2内存中，由系统控制器产生视频流替代图像传感器的输出，对碰撞预警传感器进行测试。

图4　碰撞预警传感器测试系统Fig 4　Test system of collision warning sensor

实时模式下传感器根据摄像头的输入进行碰撞预警，测试中当用手等物体靠近摄像头时LED点亮，说明碰撞预警传感器对靠近物体进行了预警。使用测试模式能更好对传感器功能进行验证。根据文献[6]中的参数对传感器网络参数进行配置，下载如图5(a)所示的汽车靠近的视频序列进行测试。LGMD网络各层神经元的膜电势如伪彩图5(b)所示，红色表示0，黄色为最大值。图5(c)为该测试视频下软硬件LGMD神经元的膜电势，对比曲线可知，两者的膜电势基本相同，说明碰撞预警传感器的预警能力与LGMD算法一致。由图中超越阈值的时刻可知，碰撞预警传感器在碰撞发生前5帧进行报警输出。测试时,LGMD软件算法耗时为0.82 s，而碰撞预警传感器按100 MHz像素时钟估计运算可在0.15 s内完成，故可以使用该系统对LGMD算法进行硬件加速，加快LGMD网络训练等研究。

图5　碰撞预警传感器功能验证Fig 5　Function verification for collision warning sensor

4结束语

本文在化简LGMD神经网络算法基础上进行参数化的硬件电路设计，并以此为核心设计了碰撞预警传感器。通过FPGA综合仿真表明:该传感器的功能正确，最高像素时钟可达178 MHz，处理QVGA视频流时等效帧率最高为2 kfps，满足高速视频处理需求。为碰撞预警传感器设计的专用测试系统支持实时和测试两种模式对其进行验证，也可用作硬件加速器，加快LGMD算法运行。

参考文献:

[1]Vahidi A,Eskandarian A.Research advances in intelligent collision avoidance and adaptive cruise control[J].IEEE Transactions on Intelligent Transportation Systems,2003,4(3):143-153.

[2]Rind F C,Simmons P J.Orthopteran DCMD neuron:A reevaluation of responses to moving objects.I.Selective responses to approaching objects[J].Journal of Neurophysiology,1992,68(5):1654-1666.

[3]Rind F C,Bramwell D I.Neural network based on the input organization of an identified neuron signaling impending colli-sion[J].Journal of Neurophysiology,1996,75(3):967-985.

[4]Blanchard M,Rind F C,Verschure P F M J.Collision avoidance using a model of the locust LGMD neuron[J].Robotics and Autonomous Systems,2000,30(1):17-38.

[5]Yue S,Rind F C.Visual motion pattern extraction and fusion for collision detection in complex dynamic scenes[J].Computer Vision and Image Understanding,2006,104(1):48-60.

[6]Yue S,Rind F C.Redundant neural vision systems—Competing for collision recognition roles[J].IEEE Transactions on Autonomous Mental Development,2013,5(2):173-186.

[7]Yue S,Rind F C.A collision detection system for a mobile robot inspired by the locust visual system[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation,ICRA 2005,IEEE,2005:3832-3837.

[8]Yue S,Rind F C.Collision detection in complex dynamic scenes using an LGMD-based visual neural network with feature enhancement[J].IEEE Transactions on Neural Networks,2006,17(3):705-716.

Collision warning sensor based on biological vision*

ZHANG Guo-peng, ZHANG Chun

(Institute of Microelectronics,Tsinghua University,Beijing 100084,China)

Abstract:With collision warning capability,lobula giant movement detector (LGMD) is simplified to design circuit in parametric method,and network parameters can be configured online by RS—232.A collision warning sensor is designed based on LGMD module and from FPGA synthesis report,the pixel frequency is as much as 178 MHz.A test system are also designed for verification.Under real-time mode,the sensor can generate warning alarm correctly according to inputs from camera;while under test mode,use video sequence to test sensor,output membrane potential consists with software simulation,which demonstrates the designed sensor carries on collision warning characteristics of the previous related work in software.The test system can also be used as hardware accelerator to boost LGMD algorithm.

Key words:collision warning; biological vision; FPGA; LGMD

DOI:10.13873/J.1000—9787(2016)03—0070—04

收稿日期：2015—06—01

*基金项目：国家自然科学基金资助项目(61327809)

中图分类号:TP 391

文献标识码:A

文章编号:1000—9787(2016)03—0070—04

作者简介:

张国鹏(1988-)，男，浙江绍兴人，硕士研究生，研究方向为视频处理算法与电路设计。