基于双目立体视觉的视障辅助系统设计

王涛，王学

（河北工程大学 数理科学与工程学院，河北邯郸，056038）

0 引言

20世纪80年代美国麻省理工学院的Marr[1]发明了一个基于双眼颜色匹配原理的视觉设计概念，将二个有视差的平面图进行处理后可以形成有深度的立体图像，并以此进行了三维重建[2]。与透镜板三维图像、投射式显示器、全息照相科技等其他三维重建技术比较，双目立体视觉能够模仿人体眼睛来处理待测的障碍物，更加直观简单，使用前景范围也更加广泛。美国波古顿汽车有限公司开发研制的采用立体可视导航技术的仿生型四脚摄像机Big Dog[3]，其人工智能手段有助于认识周边情况，并通过收集不同车辆的位置数据实现移动和避障。美国华盛顿学院和微软集团共同开发的宽基线立体视觉科技，使“探索者”号能够在火星上实现更精准的定向和导航。哈尔滨工业大学的高庆吉[4]教授等人研制的异构双目视觉科技，使自动化摄像机能够同时捕获多种有效目标，从而完成了对足球摄像机的完全主动导航。中国科学院自动化研究所研发了一种自主移动机器人，通过对环境的影像拍摄和立体匹配，可以获取相应距离和高度数据，从而为自己的活动提供指引。南京航空航天大学的张凤静[5]等通过双目立体视觉计算了汽车的车距，并通过汽车分别在前后镜头抓拍的画面上的位置计算得到了汽车与相机之间的距离位置。

20世纪70年代Paul[6]等人制造出了一套触觉的视觉替代装置，它包含：可以自动聚焦的摄像头、作用在背面的机械激发电磁阀和能够将数据信息转换为相应电信号的数字转换阵列通过增强的集成电路连接到电极。测试数据表明，测试仪可以感觉到给出的最简单地显示图像，识别单色线的移动位置，甚至通过转动聚焦方法（例如人眼）和锁定长线段的移动位置来自主对焦。20世纪90年代Kurt[7]等设计出根据指尖的四十九点电刺激替代系统，并做了指尖的电触觉显示试验，结果表明指尖拥有除舌头外最佳的感觉。20世纪90年代Paul[8]等人基于舌头的49点电触觉阵列上模式识别的早期试验。结论表明，舌头的电触摸效果比所有模式中的指尖电触摸都要好，不仅舌头的操作电压为5～15V（只有3%的指尖电压），而且电流只需要1.612mA。同时，验证了通过舌头用点刺激代替盲人的感觉技术的有效性。20世纪初，名为BrainPort[9]的可以通过舌头的电刺激触觉的新技术出现了。它由邮票形状，数码相机和传感器形状的电子刺激场组成，并带有控制器的控制器，可调节变焦和镜头对比度。像素刺激的灰度中的黑白像素，且灰色值能够自主调节。这种转置技术已经进入了临床实践中。在2006年，日本正在研究基于前额的触觉替代技术[10～12]。这个装置由一个特别微小的摄像头和一个拥有512个电极的阵列组成，系统每33ms抓取一次照相机的图像，将其转化成256个色阶的灰阶图像，然后再利用高斯函数的拉普拉斯滤波的方法把图像压缩，最后再将其二值化并处理成黑白底片成像。同时期帅立国[13]等提出这种采用水喷射的触觉图文表示信息技术。2008年，开发基于射流式刺激的图文显示装置[14～16]。2009年，中国的东南大学帅立国[17～18]等发表一种穿戴式盲教设备。2008年，柴新禹[19]等申报采用电激发的触觉视觉替代控制系统发明专利。推出了256个点通过对手指的电刺激的触觉替代系统[20]。图像收集单元将收集的文本和图形信号传送到图像处理单元；图像处理单元则将收集的图像经过简化、增强、解码等技术处理，转换为电信号传送给刺激器；刺激器通过刺激信息的控制，形成了多路激励脉冲作用于手指上。该操作系统文字识别效率受限，需要更进一步地改善。

综上所述，本系统的成功研制，将能够做到部分甚至完全替代导盲犬的任务，为更多申请不到导盲犬的视障人士提供服务，帮助视障人士更好地感知周围的世界，并且电子设备不会存在导盲犬的一些生理问题，更加方便视障人士的生活。

1 系统设计方案

本文提出的基于双目立体视觉的视障辅助系统如图1所示。系统由一对双目近红外宽带摄像头、子系统一双目立体视觉成像系统、子系统二视觉触觉视觉替代系统以及电刺激模块组成。使用左右双目摄像头采集双目图像进行标定与校正，并预置标定矩阵。使用时，使用双目摄像头采集双目图像进行立体匹配，获得的视差图像经过压缩编码后，通过串口通信发送给所述子系统二视觉触觉替代系统，该视觉触觉替代系统通过解码子系统已发送的图像信息，在驱动电路的加持下，通过电刺激模块作用于人体皮肤，达到一种类似视觉的触觉体验。本系统采用模块化设计，方便模块更换与维护，降低成本；轻量化模块低压驱动设计易于穿戴。为了具备可穿戴能力，子系统一使用了树莓派平台，子系统二使用了Arduino平台。双目近红外宽带能够提供一定的夜视能力，增加了适用场景。具有无侵入性、佩戴方便、使用简单、舒适安全等特点。

图1 系统结构图

1.1 双目立体视觉成像系统

子系统一双目立体视觉成像系统基于树莓派4B+实现如图2所示；传感器采用双目近红外宽带摄像头；对于双目摄像头：根据对极几何原理，为了提高传感器的有效范围，综合人的额头宽度数据，我采用了基线距离为120mm的双目摄像头；同时为了增加夜视能力，采用了850nm红外宽带摄像头，视场角55°，焦距4.5mm。

图2 双目立体视觉系统

针对双目近红外宽带摄像头模块使用张正友标定法[21]，对双目近红外宽带摄像头模块进行标定，从而分别获得左右摄像头的标定参数；对双目图像进行畸变矫正与极线校正，分别得到径向畸变矩阵、切向畸变矩阵和内参矩阵。将上述标定参数、径向畸变矩阵、切向畸变矩阵和内参矩阵作为所述双目立体视觉成像系统的预置参数，参与成像系统的工作。

本文使用Matlab的工具箱进行双目近红外宽带摄像头的标定与校正工作，根据参考文献[22]中提出的标定图像的采集数量在大于13张时，系统标定误差趋于稳定。本文在标定时，为了降低双目摄像头在各视距范围内的误差，在距离摄像头0.5m、1m、1.5m、2m、2.5m、3m的距离分别采集20张左右摄像头的图像进行标定，选用的标定板精度为0.01mm，标定过程如图3所示。双目相机标定的全局平均误差降低至0.1pixel。

图3 标定过程

使用双目近红外宽带摄像头模块对周围环境进行图像采集，并将采集到的数字图像传输给所述双目立体视觉成像系统；双目立体视觉成像系统对获得的数字图像进行数字图像信息的预校正和预处理，采用双目立体匹配算法计算目标的深度信息以获得视差图像，并对视差图像进行适当的优化和滤波处理，同时算法采用高效的编码方式，将获得的深度信息通过串口通信技术发送给所述触觉视觉替代系统；基于双目立体视觉的视障辅助系统，包括第四代低电压双倍数据率同步动态随机存取存储器（LPDDR4 SDRAM）、64位四核高级精简指令集中央处理器（quad-core 64-bit ARM CPU）、第三代通用序列总线（USB 3.0）、数字模拟转换器、微型闪速存储卡（TF卡）和通用输入输出端口（GPIO），所述双目近红外宽带摄像头模块采集到的双目图像信息通过第三代通用序列总线传输并保存至第四代低电压双倍数据率同步动态随机存取存储器；同时从微型闪速存储卡中将预先内置的标定参数、径向畸变矩阵、切向畸变矩阵和内参矩阵加载到第四代低电压双倍数据率同步动态随机存取存储器；64位四核高级精简指令集中央处理器读取存放在第四代低电压双倍数据率同步动态随机存取存储器中的双目图像信息和上述预置参数进行视差计算、代价聚合和视差优化，将处理后的视差图像信息保存在第四代低电压双倍数据率同步动态随机存取存储器中，对视差图像信息进行二值图像转换和图像压缩编码，使用通用输入输出端口连接所述视觉触觉替代系统，通过串口通信程序发送给所述的视觉触觉替代系统。双目图像处理程序、双目立体匹配程序和图像压缩编码传输程序保存在微型闪速存储卡中。

二值图像转换与压缩编码。为了提高传输速率，提高通信线路的有效数据位利用率，因为一个unsigned char类型数据能够编码8位数据，所以发送端与接收端约定使用unsigned char类型数据进行位图格式编码。初始化一个全为1的矩阵，使用库函数，与原来的binary二值图进行按位与操作，得到一个位图。将该位图resize为32*16的分辨率，并切割为8*8的子位图，通过无符号字符类型编码，将子位图按行发送给子系统二视觉触觉替代系统。通信方式是基于树莓派的GPIO引脚与Arduino的引脚进行I2C通信。Arduino单片机在接收到数据后，使用无符号字符类型进行位图解码，基于一个自定义的Stack数据结构重新进行位图拼装。

1.2 视觉触觉替代系统

子系统二视觉触觉替代系统基于Arduino实现如图4所示。二值图像解码模块通过通用输入输出端口与所述双目立体视觉系统连接，负责与双目立体视觉成像系统进行串口通信，对接收到编码后的图像数据后进行解码处理；信号传输控制模块加载手动调节模块传递的外部设定参数，经过计算，将信号通过所述信号传输控制模块将解码后的图像数据传送给硬件驱动模块；硬件驱动模块包括逐行扫描驱动电路、高低压隔离电路和保护电路；逐行扫描驱动电路接收处理控制模块传输的电信号，控制点电极刺激阵列中每个点电极的开闭信号分配；高低压隔离电路将所述升压模块的高压模拟信号与逐行扫描驱动电路的低压数字信号进行隔离，并接收逐行扫描驱动电路的开闭信号对点电极进行开闭控制；保护电路为逐行扫描驱动电路和高低压隔离电路提供保护能力，对逐行扫描驱动电路提供干扰阻隔能力，防止扰乱信号对正常的脉冲信号产生影响，对高低压隔离电路提供栅极电荷泄放能力，防止电荷累积，损伤元器件。

图4 视觉触觉替代系统

硬件驱动模块电路原理图如图5所示，其通过预留的16根引脚与Arduino的16个数字信号引脚相连接。硬件驱动模块的PCB渲染图如图6、图7所示。

图6 PCB渲染图1

图7 PCB渲染图2

1.3 电刺激模块

电刺激模块连接硬件驱动模块，并设计为热插拔方式，方便更换，电刺激模块上的点电极呈方形阵列分布，点电极呈半球状，防止尖端放电现象的产生，对人体皮肤产生强烈刺激，半径为0.8～1.0mm，点电极间距为1.0～1.2mm，材质为不锈钢或镀镍铜；升压模块前端连接供电系统，后端连接电刺激模块将供电系统的低压电源升压为能够刺激人体皮肤的高压电源，驱动电刺激模块，对被接触的人体皮肤产生合适的电脉冲刺激；电刺激模块采用柔性PCB设计，可弯曲，能够更加贴合用户的额头，通过点电极阵列电脉冲刺激，对用户的皮肤产生一种类似视觉信号的触觉体验。电刺激模块PCB渲染图如图8所示。

图8 电刺激模块渲染图

2 分析讨论

两个实验分别验证子系统一和子系统二的有效性。

2.1 实验一 验证双目立体视觉系统的有效性

将标定参数提前注入程序中，并设定以下程序中的变量参数：聚合路径数为4路径；最小视差为0pixel，最大视差为64pixel；并启用一致性检查、唯一性约束、剔除最小连通区，最后进行视差图填充；初始化参数后进行双目图像匹配，并对视差图像进行中值滤波处理，双目匹配的视差图像如图9所示。

图9 视差图像

2.2 实验二 验证触觉视觉替代系统的有效性

实验仿真程序，验证硬件驱动程序的有效性，使用8*8led对驱动显示结果进行可视化，仿真结果如图10所示。使用示波器测量电刺激模块的有效性；为安全起见，刺激电压调整为5V；测试结果如图11所示。图11中，右上角“被点亮”的点电极的波形图；为接地信号，没有电平信号；其余3张图为被点亮点电极周围的3个点电极的信号，没有被点亮，默认为高电平；实验结果与预期相符。

图10 仿真结果

图11 测量结果

3 结论

设计并实现了一种基于双目立体视觉的视障辅助系统。双目摄像头经过简单的标定和校正后，就能够使用双目图像传感器采集图像，通过SGBM算法计算周围的3D信息，并将3D信息压缩编码，通过串口通信发送给触觉视觉替代系统，电路原理及验证的试验结果证明了这套基于双目立体视觉的视障辅助系统的可行性。