3D传感器的设计与研究

王兴鹏，梁发云，刘　敏

(1.南昌大学 裸眼立体技术与虚拟现实研究中心，江西 南昌 330031；2.南昌兴亚光电科技发展有限公司，江西 南昌330031)

3D传感器的设计与研究

王兴鹏1，2，梁发云1，2，刘敏1，2

(1.南昌大学 裸眼立体技术与虚拟现实研究中心，江西 南昌 330031；2.南昌兴亚光电科技发展有限公司，江西 南昌330031)

摘要:3D传感器是获取双视图画面的重要手段，在3D图像交互及机器人技术中有着重要的应用前景。根据人眼仿生学原理设计3D传感器结构，并研究现场可编程门阵列FPGA对双CMOS高分辨率图像的采集与处理方法，通过同步数据采集和轮序存储法完成3D图像的获取并实时显示。

关键词:3D传感器；裸眼3D技术；视差；轮序法

新型光电显示技术的不断发展，使得裸眼3D技术成为未来主流显示技术之一。裸眼3D技术使用双视图呈现三维场景，因此获取符合人类立体视觉左右眼图像的3D传感器成为技术关键。

由于裸眼3D技术理论及其器件的完善[1-2]，为3D相机、3D摄像机配备了能实时监控拍摄场景的3D液晶屏，极大地推动了3D电影与电视的拍摄及其编辑技术的发展，截至2015年底，3D拍摄产业价值已经达数十亿元。

为了3D摄像器件的便携化、集成化，也为了3D交互技术的持续发展，需要研究3D图像传感器光学技术及数据处理技术的理论与方法。本文根据人眼仿生原理着重探讨3D传感器图像数据的实时采集与数据处理技术。

13D传感器技术原理

眼睛是人类感光和成像的器官，双眼间距使得视网膜图像存在视差，经过视觉中枢处理后获得场景的三维坐标(图1)。研究表明，双眼视网膜成像过程存在焦距调节和光轴会聚过程，使得眼睛注视焦点处的成像视差匹配良好，能获得准确的相对坐标信息，而关注焦点之外的细节被视觉中枢忽略。与人眼直接观看过程相比，3D传感器拍摄图像后，由于存在远离焦点的背景，使得图像中远处物体的视差无法良好匹配，从而带来观看3D影视产生晕眩等不适感。笔者认为目前3D拍摄的主要缺陷在于景深视差匹配上，所以致力于3D图像传感器的仿生学研究。仿生3D图像传感器的关键问题主要有景深视差光学原理、光轴会聚检测与控制、图像数据采集与处理三个方面，为了便于解决这些问题，首先需要完成基础电路系统的研制，待完善图像采集系统后，可为光学成像及会聚研究提供物质基础。

图1　立体视觉原理

根据人眼相对位置，使用2只CMOS型图像传感器组成3D传感器的基础结构，其光学镜头组暂未改变，因此不具备光学处理及会聚功能。建立如图2所示的双摄像头系统[3-5]，两个摄像传感器主点连线的中点作为原点，x轴平行于两相机主点连线，z轴平行于光轴方向，传感器中心间距为B，则两相机主点坐标分别为(-B/2,0,0,0)和(B/2,0,0,0)。

图2　3D图像传感器成像原理

设左右眼图像的水平视差为p，摄像头焦距为f，可得出空间坐标系中任意一点Q(x,y,z)在左右图像传感器中的水平视差p为

(1)

左右图像按亚屏幕分区显示于3D显示器屏幕上，此时观看者能体验出图像反映的景深，空间点正负视差对应于远景和凸显于屏幕外的近景。设人眼间距为e，人眼到屏幕的距离为l，左右视图的水平视差为p，则对应于正视差(图3)的深度计算公式为

(2)

对应于负视差(图4)的深度计算公式为

(3)

图3　正视差图深度

图4　负视差图深度

为了保证3D传感器的成像质量，完备的3D传感器设计时需满足如下3个原则：

1)空间几何位置严格对称。

2)参数一致性。2只传感器控制寄存器设置参数完全相同。

3)两只图像传感器输出时帧、行、像素时钟完全同步，确保捕捉画面的时间同步性。

23D传感器数字图像处理电路

目前CCD(Charged Coupled Device)和CMOS(Complementary Metal-Oxide Semiconductor)图像传感器技术发展很快，像素分辨率已经达到千万量级[6]。本文研制的3D传感器使用2只CMOS图像传感器模拟人的双眼，传感器间距分别设置为40 mm、60mm、80 mm。CMOS图像传感器的接口通过限流电阻后再由FFC柔性导线连接到信号处理电路(图5)。

图5　3D图像传感器

CMOS图像传感器内部由感光二极管组成的像素阵列，通过行列扫描电路把像素电压联通至放大器和AD转换器，再通过图像处理器后编码为DVP或MIPI结构的数字图像[7]。传感器还提供了串行相机控制总线(SCCB)来设置图像传感器的工作模式，通过控制寄存器能够设定图像的分辨率、帧频、输出格式等重要参数[8]。为了正确采集图像输出接口的数据，还提供了帧同步、行同步、像素时钟等时序信号(图6)。

图6　CMOS图像传感器内部结构图

由于CPU无法满足2只CMOS型图像传感器的接口要求，所以系统设计时只能选择FPGA或CPLD可编程逻辑器件。为了达到3D传感器图像采集的3个原则，满足3D传感器数字图像处理过程中图像数据量大、传输速度快、IO数量等要求，使用现场可编程门电路(FPGA)来组成3D传感器数字图像处理电路。

3D传感器的数字图像处理电路由现场可编程逻辑门阵列FPGA、2只CMOS图像传感器、动态随机存储器SDRAM、电源、输入输出接口等组成。FPGA是核心控制芯片，对各个模块工作进行协调和控制。2只CMOS图像传感器模拟人类双眼来同步采集左右眼图像数据，SDRAM用于图像数据帧缓存及轮序法处理。为了验证3D图像传感器的功能和效果，还设计了LCD/VGA显示接口、图像数据存储的SD Flash接口和USB接口等(图7)。

图7　3D传感器数字图像处理电路框图

3轮序法图像信号处理

为了完整保留3D图像信息，3D图像传感器的左右眼视图应同步输出。根据设置的图像分辨率，在行同步时钟的控制下，每行先按像素时钟输出左传感器RGB数据，再输出右传感器RGB数据，从而使3D传感器数据输出帧完全以左右格式进行输出，其输出接口定义符合ARM等CPU和通用图形芯片的标准接口协议。

使用硬件描述语言Verilog HDL设计逻辑电路，系统组成包括SCCB寄存器配置模块、图像数据同步采集模块、FIFO行缓存模块、SDRAM控制模块和LCD显示模块。

SCCB寄存器配置模块对左右CMOS图像传感器的寄存器同时进行初始化配置，分别设置图像数据的格式、分辨率、聚焦方式、曝光时间和图像质量等。初始化完成后左右CMOS图像传感器将输出如图8所示的像素时钟PCLK、场信号VHYNC、行信号HREF、8位图像数据DATA[7..0][9]。

图8　CMOS图像传感器时序

FIFO行缓存模块通过FPGA内部存储资源构建4个容量为一行图像数据的FIFO(First Input First Output)并命名为FIFO1，FIFO2，FIFO3和FIFO4。检测帧脉冲上升沿，在每帧时间段内对4个FIFO轮序操作，完成图像数据采集和重编码输出。轮序法的处理步骤为在CMOS传感器行同步和像素时钟的节拍控制下，依次将左CMOS图像传感器的第一行图像数据缓存到FIFO1中，同时将右CMOS图像传感器的第一行图像数据缓存到FIFO2中，在此行时间段内输出模块在倍频像素时钟控制下顺序读取FIFO3、FIFO4数据并输出左右格式的行数据。第二行脉冲上升沿，把左CMOS图像传感器的第二行图像数据缓存到FIFO3中，而右CMOS图像传感器的第二行图像数据缓存到FIFO4中，这时将FIFO1和FIFO2的图像数据按倍频读取并输出。之后根据行脉冲计数的奇偶数值，轮序完成图像传感器图像数据缓存和输出，从而实现左右格式立体对图像数据的重编码输出。

轮序法在3D图像传感器的采集、重组过程中发挥了极为重要的作用，由于图像传感器分辨率的不断提高，使得像素脉冲频率逐次提高，为了兼顾时序匹配和接口协议，使用多组存储器作为数据中转。

为了实时监控图像传感器取景，笔者继续对3D图像传感器输出视频实时显示硬件算法进行了研究。取景监控画面使用裸眼3D液晶屏作为显示器件，由于3DLCD可兼容2D与3D显示，因此监控图像的数字逻辑处理电路也需具备这两种模式。

由于图像传感器输出的帧频、图像分辨率与3DLCD的刷新率、物理像素分辨率不一致，所以传感器图像采集后需经过比例缩放及插帧计算，再通过像素重组，使3DLCD能实时显示2个图像传感器的左右格式和插值格式[10]。图9、图10为3D传感器左右图像在3DLCD上的左右对称显示和插值显示。显示环节充分利用了轮序法的优势，使用2组SDRAM轮序完成左右眼图像的存储和读取，按实际帧频把30 f/s(帧/秒)的传感器图像经过插帧处理后传送到60 f/s(帧/秒)的3DLCD输入接口，完成左右图像显示和3D插值显示。

图9　左右立体对图像显示(照片)

图10　裸眼3D显示的列插值图像(照片)

4总结与讨论

根据人眼立体视觉原理探讨了3D图像传感器的可行构建方法，并设计研究了FPGA硬件电路和逻辑算法，使用轮序法分别完成3D图像传感器的输出编码、左右格式显示方法和列插值3D显示方法。轮序法在高速视频图像处理中发挥了重要的作用，使得多种视频控制时序能协调工作，满足采集、存储、输出和显示等要求。

虚拟现实技术、三维场景显示技术是第四次工业革命中的重要组成部分。作为临场感图像获取的3D图像传感器和裸眼3D技术，在信息化、网络化和3D远程交互中具有重要发展前景。 3D图像传感器的物理器件研制可为后续的3D图像处理、景深解算与测量提供物质基础，也为裸眼3D技术提供图像数据来源，从而促进3D产业发展，推进裸眼3D显示器件的普及化应用。

参考文献：

[1]施建盛，梁发云，何辉. 双CMOS仿生3D视觉传感器电路设计[J].电视技术，2014，38(23)：48-51.

[2]LIANG F Y，LIU G，HE X M，et al.Optical character and calibration of 3D vision sensor[C]//Proc. Sixth International Symposium on Precision Mechanical Measurements.Guiyang：[s.n.]，2013：150-156.

[3]王爱红，王琼华，李大海，等. 立体显示中立体深度与视差图获取的关系[J].光学精密工程，2009(2)：433-438.

[4]RYU S，SOHN K. Depth-based direct mode for multiview video coding[J]. Signal processing： image communication， 2012，6 (27)：571-578.

[5]SMOLIC A.3D video and free viewpoint video-From capture to display[J]. Pattern recognition， 2011，9(44)：1958-1968.

[6]梁发云，何小明，尤鹏飞，等. 双镜头3D摄像系统的设计与标定[J]. 电视技术，2013，37(13)：179-182.

[7]许鹏.智能门禁系统3D图像传感器设计研究[D]. 南昌：南昌大学， 2015.

[8]ZHANG B F，LI B，ZHU J C. Design of CMOS image sensor's initialization based on FPGA[C]//Proc. Second International Conference on Digital Manufacturing and Automation. Zhangjiajie：[s.n.]，2011： 393-396.

[9]梁发云，施建盛，何辉，等. 机器人双目图像采集系统设计研究[J]. 机械设计与制造，2014(8)：155-158.

[10]何辉.裸眼3D图像信号处理技术研究[D].南昌： 南昌大学，2014.

Design and research of 3D sensor

WANG Xingpeng1，2，LIANG Fayun1，2，LIU Min1，2

(1.Nanchanguniversity， 3D&VRResearchCenter，Nanchang330031，China；2.NanchangProperaslaOptoelecSci-TechDevCo.，Ltd.，Nanchang330031，China)

Abstract:3D sensor is an important ways of obtaining stereoscopic images. So it has important application prospect in the 3D image interactive and humanoid robot. In this paper， designing 3D sensor structure according to the principle of human eye bionics， and studying acquisition and processing double CMOS high resolution images′ method on FPGA. Through the synchronous data acquisition and alternate sequence process to complete the 3D image acquisition and real-time display.

Key words:3D sensor；glasses-free 3D technology； parallax； alternate sequence process

中图分类号：TP212

文献标志码：A

DOI：10.16280/j.videoe.2016.06.006

基金项目：国家自然科学基金项目(61263045；51265034)；江西省科技支撑计划项目(20151BBE50091)；科技部创新基金项目(13C26213603102)

作者简介：

王兴鹏(1990— )，硕士研究生，主研微电子技术、视频技术；

梁发云(1970— )，博士，副教授，硕士生导师，本文通信作者，主要研究方向为裸眼3D技术与虚拟现实技术。

责任编辑：闫雯雯

收稿日期：2015-12-04

文献引用格式：王兴鹏，梁发云，刘敏. 3D传感器的设计与研究[J].电视技术，2016，40(6)：28-31.

WANG X P，LIANG F Y，LIU M. Design and research of 3D sensor [J].Video engineering，2016，40(6)：28-31.