编码曝光相机系统设计

李 响，李明伟，孙 怡

（1.大连理工大学 信息与通信工程学院，辽宁 大连 116024；2.大连海洋大学 信息工程学院，辽宁 大连 116023）

引言

图像去模糊是图像与计算机视觉应用中的一个重要问题[1]。产生图像运动模糊的原因是，在传感器的曝光时间内，运动目标与静态相机之间产生了较大的相对位移所致。一般图像模糊模型可表示为

式中：L代表目标的原始清晰图像；K表示在图像采集时目标与相机的相对运动（模糊核）；η表示叠加的成像系统噪声；B表示降质后的图像；符号⊗代表卷积。由于原始图像及其成像系统的降质情况未知，因此，仅由实际采集到的图像去重建清晰图像是一个不可逆的病态问题[2]。在目前的图像复原研究中，甚少考虑图像采集过程出现的问题对图像质量的影响，只是针对模糊图像本身进行数学建模反演、恢复重建。图像在采集过程中发生信息损失不能在后续的复原中恢复。因此只针对采集图像进行图像恢复重建，而不考虑图像采集过程的信息损失，这种图像复原是不完善的。

通常的成像方式是控制相机快门一次开启形成曝光，曝光时间决定了成像的空间分辨能力。根据信号时频关系，曝光时间越长（越宽），其频域带宽越窄，保留目标的高频分量越少，对运动目标的成像越模糊[3]。为减少频域中高频信息的损失，有学者[4-10]提出将一次曝光转换为依据特定编码的多次曝光模式，进而保留原有目标图像更多的信息。在编码曝光研究实验中，简单的方法是采集多帧连续图像叠加融合成编码曝光图像[6,11-14]，这种方式只是模拟编码曝光产生过程，而非真正的单张编码曝光图像。另外也有利用图像传感器测试平台来获得编码曝光图像。

上述编码曝光图像都要经过后处理解码，才能得到去运动模糊的清晰图像。本文设计的编码曝光相机，针对应用需求，将编码曝光过程和清晰图像的解码复原输出过程集成在一起，实现了对CCD器件持续编码曝光控制和一次电荷转移输出，并用FPGA 的硬件逻辑结合IP 核的方式实现高速智能化解码。

1 编码曝光原理与实现

1.1 编码曝光去模糊原理

编码曝光模型是将一个完整的曝光时间分成m个相等时间的时隙，每个时隙是否曝光由对应位的二进制编码决定，这里编码长度和时隙数量相等。若编码k=(k1,k2···km)，则对应的编码曝光模糊核可由ki确定。若ki= 1，表示该时隙曝光；若ki= 0，表示该时隙不曝光，其中i∈[0,m]。为方便研究，（1）式的图像采集模型用矩阵形式表示为

利用Toeplitz 矩阵可将图像与模糊核之间的矩阵卷积转化为矩阵乘积。以一维信号为例，若采集长度为n的一维信号与长度为m的单一方向运动模糊核卷积运算，则（2）式可由下式表示成：

从信号的模糊情况来看，当模糊核K中的数据全为1 时，即为一般意义下的连续运动模糊。当模糊核K中的数据不全为1 时，表示为非连续或间断的运动模糊。从快门曝光角度看，编码曝光是按照一定频率由预先设定的编码来控制快门的开启和闭合。现以成像系统与目标物体的一维相对线性运动为例，说明编码曝光成像和复原过程，如图1 所示。若存在任意一维信号l，通过预设编码k=(k1,k2···km)=(1 100 101)的成像系统曝光，其采集信号是长度为(n+m-1)模糊信号B，可以用l与k二者的卷积表示。可以看出，图1 的结果获得方式和（3）式的表达方式一致。

按（3）式的转换计算方法，图1 中采集信号B中每一位是否存在累积变化与ki当前数值是否为1 有关。若ki中的值为1，代表曝光，B的累积量增加；ki为0 时，代表不曝光，B的累积量不变。

与此同时，（2）式亦可表达为（4）式的形式，我们可以在数据复原阶段利用（4）式进行解码。当l与k二者做单一方向相对运动时，先通过预设编码k构造Toeplitz 矩阵形式的模糊核K，之后利用采集信号B来恢复重建一维信号l。

图1 一维相对运动与卷积计算之间的关系示意图Fig.1 Schematic diagram of relationship between 1-D relative motion and convolution calculation

与一维信号相似，当出现二维图像信号L时，该模型可理解为二维目标L与K之间单一方向移动获得模糊图像B。当解码复原图像时，可以根据编码时的二进制序列和模糊长度构造模糊核K，其图像采集及理想的重建解码过程可以由L=B/K获得。该过程如图2 所示，图中的模糊核K即为（4）式所构造，并可应用到解码过程中。

图2 编码曝光图像采集及图像重建解码过程Fig.2 Image acquisition of coded exposure and process of restored image

1.2 CCD 成像的工作时序

CCD 成像过程如图3 所示。图3 中的灰色矩形阵列代表图像元阵列。当受光照射时，像元阵列将入射光转化为电荷，在外加衬底栅极电极下形成电荷势阱，衬底每吸收一个光子就会形成一个电子-空穴对[15]，并在外加电场作用下移动形成“光生电荷”，如图3 中水滴形状。

势阱电压控制像元光生电荷的累积过程，衬底信号SUB 控制势阱电压，因此SUB 信号就是曝光的控制变量。SUB 为1 时，像元累积电荷；SUB 为0 时，像元不累积电荷。因此在采集图像时需要一个SUB 信号控制所有像元在同一时刻曝光，再由垂直、水平同步脉冲共同驱动，将累积的电荷输出形成像元阵列的所有电荷。如图4 所示，垂直同步脉冲VD 驱动光生电荷在垂直移位寄存器内向水平移位寄存器移动。像元阵列中所有列在同一个VD 信号下同时驱动光生电荷一起移动。当光生电荷到达水平移位寄存器后，按顺序由水平同步脉冲驱动电荷向外输出。因此一个VD 信号周期内，需要输出同时到达水平移位寄存器的一行光生电荷，由水平同步脉冲HD 信号驱动顺序输出。再经过“电荷-电压”、电压放大、“模-数”转换完成后，形成数字图像阵列，即为一幅数字图像。

图3 CCD 像元累积电荷转移示意图Fig.3 Schematic diagram of accumulative charge transfer in pixels of CCD

图4 一般CCD 图像的输出时序Fig.4 Output sequence of traditional CCD image

1.3 编码曝光的时序设计

普通的曝光过程一个像元累积一次、生成并转移光生电荷。为了得到编码曝光图像，需要每个像元完成多次曝光、多次累积电荷，并一次转移输出电荷。因此我们将原有的一次曝光分割成若干 更小的曝光时隙，该时隙的分布和预设的编码相关，一个像元就会多次累积曝光电荷。该过程可以由SUB 控制，如图5 所示，编码“10…1…1”加入曝光过程控制SUB 后，会得到与编码相对应的编码曝光图像输出。若将电荷累积集中输出，即形成编码曝光图像。由SUB 控制电荷是否累积，由VD 和HD 控制电荷是否转移并形成输出图像。

图5 像元曝光累积编码曝光电荷输出时序Fig.5 Charge cumulative of coded exposure in pixels and their time sequence

2 编码曝光相机系统设计

2.1 编码曝光系统的硬件设计

如图6 所示，核心控制器选用Xilinx 公司Spartan 6 系列的XC6SLX45T-3FG484C。该芯片共484 个引脚，其中DDR3 存储器、程序存储器以及88E1111 千兆网物理层芯片分别接于厂家典型系统默认引脚，以便利用现有资源；设计的模块外接引脚尽量布置在同一个BANK 内，全局时钟使用48 MHz 外部晶振；W25Q64 为64 Mbit 的配置程序存储器；DDR3 数据存储器MT41J64M16LA 有1 024 M数据存储空间，存储图像数据和运算中间结果；高灵敏度CCD 图像传感器ICX204AL 有效像素为1 024 × 768，帧率为60 frame/s；CXD3400N 作为场时序驱动器提供列向的三态电压时序驱动（XV2A、XSG1、XV2B、XSG2）及衬底信号驱动（XSUB）；12 位CCD 信号处理器AD9949 作为行驱动信号发生器（H1、H2），并提供生成信号（CCDIN）的模数转换；88E1111 是千兆网物理层芯片，通过RJ45 构成网络通信接口。

图6 编码曝光相机系统电路框图Fig.6 Circuit block diagram of coded exposure camera system

CXD3400N 接收FPGA 发出的垂直时钟转移控制信号（XV1、XV2A/XV2B、XV3）和衬底控制信号XSUB，向ICX204AL 发送电荷累积和电荷垂直移位的时序信号，其中XSUB 是编码曝光信号，V2A/V2B 是三电平结构；FPGA 向AD9949 提供主时钟（CLK）、垂直同步脉冲（VD）和水平同步脉冲（HD），FPGA 通过SPI 总线接口控制AD9949 生成水平时钟转移信号（H1、H2）和复位时钟信号（RG），AD9949 也是CCD 信号的模数信号转换器，将模拟图像信号转换成数字信号，通过D[7…0]输出到FPGA，FPGA 的DDR3 控制核将图像数据发送到存储器MT41J64M16LA。当图像采集完成后，FPGA 中图像重建模块恢复出清晰图像，通过网络通信接口输出，可由上位机接受显示。

编码曝光相机系统结构如图7 所示，主要由核心控制模块和外部芯片功能模块组成。核心控制模块的功能设计如下：外部晶振通过全局时钟引脚到核心控制模块中的基准时钟模块，作为系统的时钟基准。时序模块产生CCD 传感器的驱动时序。曝光编码模块作为传感器配置模块的输入变量，向图像采集模块的时序驱动模块提供曝光序列。传感器配置模块同时对处理模块产生的垂直同步脉冲和水平同步脉冲信号进行编辑。图像读取模块利用DDR 控制模块将数据保存在数据存储器中，这时得到了编码曝光图像数据。随后核心控制器中的解码重建模块读取数据存储器中编码曝光图像，进行片内解码得到清晰复原图像。图像数据经千兆网模块可输出显示，也可以直接输出编码曝光图像。命令模块接受网络的输入信号，可以进行系统设置。千兆网模块和DDR 控制均为厂家提供的资源。

图7 CCD 编码曝光相机系统结构Fig.7 Structure diagram of CCD coded exposure camera system

编码曝光图像采集及输出时序图如图8 所示。由于ICX204AL 总像素为1 034 × 792，输出一幅图像需要VD 控制信号1 034 个，且每个VD 信号含792 个HD 信号。相机快门开关由SUB 信号控制，HD 信号为低电平时，垂直时钟信号按V1、V2A/V2B、V3 顺序开始工作，并将存于垂直移位寄存器中的光生电荷向水平移位寄存器移动。V2A/V2B的高电平信号决定了新一行图像的起始位置。

图8 编码曝光图像采集及输出时序图Fig.8 Schematic diagram of image acquisition and timing sequence output with coded exposure

2.2 编码曝光系统的软件设计

编码曝光解码图像程序流程图如图9 所示。曝光编码在控制像元曝光衬底信号SUB 的同时，也被用作图像复原时构造模糊核K，以便解码复原。若已经得到编码曝光模糊图像B，利用L=B/K解码获得清晰图像输出。上述过程由FPGA的硬件逻辑实现。

文献[16]中提出，同一目标以不同相对速度通过采集相机时，在采集图像的像平面中位置不同，导致采集的模糊图像不同，即可以认为由不同模糊核造成。由于模糊核是由预设编码的Toeplitz矩阵形式和与其等宽且不等长的模糊尺度构成，因此采用结构相似性与图像熵的联合估计方法[16]确定图像模糊核的模糊尺度，并与二进制编码一起构造模糊核。具体编码曝光解码复原过程如下：

1）在核心控制器内预设码长为m的二进制编码序列k；

2）通过设定模糊尺度与k共同构造模糊核K；

3）通过L=B/K解码获得清晰图像，并输出显示。

3 编码曝光图像复原性能实验

3.1 编码曝光复原图像性能理论分析

从信号生成角度看：CCD 成像芯片之所以能够产生图像信号，是由于CCD 的感光像元作用。当外界有入射光到达像元后，光生电荷随之产生，其数量与入射光的光通量呈线性关系。因此，当不考虑其他因素时，曝光时间长短决定了入射光线的光通量的大小，进而反应了光生电荷的多少。长时间曝光比短时间曝光图像电压更高，信号更强，从外界来看图像更亮。当外部环境较暗时，适当延长曝光时间，可以有效解决图像信号不足。当外部环境较亮，长时间曝光易出现图像饱和。

图9 嵌入式编码曝光系统程序流程图Fig.9 Flow chart of program design for embedded coded exposure system

从噪声角度分析：令目标物体与相机图像平面上获得单位时间内的平均图像强度为i，利用噪声仿射模型[17]可将噪声分为独立于图像信号存在的噪声和依存于图像信号存在的噪声。

独立于图像信号存在的噪声由暗电流噪声、放大器噪声、AD 量化误差等因素综合表现，该噪声与采集信号无关，其灰度级方差可表示为。与此同时，依存于图像信号的噪声与光通量和光-电转换过程的不确定性有关。该噪声信号随测量信号的增加而增大。当曝光时间变长时，光通量变大，该信号也随之变大。令该噪声信号与常数C有关，当曝光时间为t时，该光子噪声的方差值为Ct。

因此，总体噪声可以表示为

采集图像的信噪比为

当曝光时间t较长时，即时，有：

当曝光时间t较短时，即时，有：

若当i、C、σgray为常数，信噪比SNRcapture均随曝光时间t增加。因此当只考虑曝光时间t这一因素时，增加曝光时间可以提升信噪比。短时曝光（t较小）中独立于信号存在的噪声对信噪比影响较大。若在单位时间内可获得足够光照（即i足够大），则短时曝光（t较小）也可获得较高的信噪比。

我们利用多次生成、一次转移光生电荷的曝光方式，累积光生电荷建立仿真模型。将单一的曝光时间分割成若干时隙，各时隙持续时间总和与原来的单次曝光时间相等。这些时隙中，只有部分参与曝光，因此，该种方法根据光通量可以分成普通单次曝光、编码曝光、短时曝光。

实验中，选取一般单次曝光、编码曝光、短时曝光成像质量研究其异同，如图10 所示。其中清晰图像如图10（a）所示，单次曝光模型使用全“1”编码模拟目标图像运动后的叠加，其过程如图10（b）所示，其叠加的模糊图像如图10（c）所示，利用P an[18]方法的复原图像如图10（d）所示。编码曝光图像的模拟运动图像是按照编码规律，抽取普通曝光模型中对应位的图像进行叠加，其过程如图10（e）所示，叠加的模糊图像如图10（f）所示；利用本方法复原结果如图10（g）所示，经亮度调整后图像如图10（h）所示。短时单次曝光图像中取一般曝光时间的前1/3 进行“短时”设计，因此该模糊图像图10（j）的光通量是一般单次曝光图像图10（c）的1/3，其复原图像如图10（k）所示，亮度调整后如图10（l）所示。同时，为了模拟曝光时的信噪比，在合成图像过程中均在每幅移动图像移动叠加前，加入0.005 的高斯噪声。由于信号持续时间导致信号强度不同，在一般曝光下噪声影响最小，编码曝光次之，噪声对短时曝光的影响最大。

在图10 的复原图像中，编码曝光快门转换过程是间断的，该编码的使用将原来的窄带滤波器转变为宽带滤波器，有效避免了频域幅值的零点，以保存更多的高频信息。相比于一般曝光采集的运动模糊图像图10（c），编码曝光图像包含了更多的高频信息，如图10（f）所示。当复原正确时，这些高频信息将组成一张完整清晰的复原图像，如图10（g）所示。在普通曝光下图像复原时，一般曝光模型在频域中幅值会出现“零”的情况，使得一些高频信息在图像采集时即损失，无法通过后续算法恢复，导致复原图像振铃效应明显，如图10（d）所示。相对而言，短时曝光采集图像图10（j）中由于采集图像时接收的光通量不足，即使相对移动造成模糊小，噪声淹没部分图像信号，已经失去原有图像部分特征，导致复原图像异常。可以看出，编码曝光是在损失较小信噪比的前提下，在采集阶段保护并正确复原运动模糊图像的一种有效方法。

3.2 编码曝光图像复原实验

编码曝光相机设计实物如图11 所示。

实验采用m= 31 位近似最优编码码字（k=1111111111111000010011101000111）[3]设计，该码字被Raskar[19]等学者证明了在编码曝光中使用可以更多地保留高频信息。与单次普通曝光方法相比，在相同的图像采集时间内，普通曝光方法全时曝光，编码曝光是非全时曝光。使用上述编码时，用n代表码长，这里n= 31；用s代表“1”的个数，这里s= 21，也即在31 个时隙中有21 个时隙的像元参与接受光信号。因此，当其他条件完全相同时，利用该编码的光通量是普通曝光的s/n=21/31，使整体图像偏暗。

图10 一般曝光、编码曝光、短时曝光的采集运动模糊图像、曝光模型、复原图像之间的对比Fig.10 Comparison among motion blurred images, exposure models and restored images under general exposure, coded exposure and short-time exposure conditions

图11 编码相机硬件电路实物图Fig.11 Hardware circuit diagram of coded camera

在编码曝光时间内，被测物体在相机镜头前做快速的单一方向移动，曝光结束后获得编码曝光图像，通过已知编码设计，并估计模糊核长度，从而得到模糊核，恢复图像。该过程获得的编码曝光图像如图12 所示。图12（a）是静止清晰图像，图12（b）是编码曝光图像，图12（c）为本文方法恢复重建图像。

为了客观评价图像复原质量，我们使用了SMD、SMD2、Energy、Brenner 等无参考质量评价方式对复原质量进行测评。由于高频分量在运动模糊图像中有损失，呈现细节模糊，但图像复原正确，高频图像细节信息清楚，因此可以利用高频信息数量表示图像清晰程度，即选用灰度差分函数（SMD）和灰度差方函数（SMD2）。这两者分别表示图像中相邻像素差的绝对值之和以及相邻像素差的乘积之和。由于自然图像边缘清晰、明显，为了突出目标图像的特征，选用能量梯度函数（Energy）和Brenner 梯度函数（Brenner），分别表示图像中相邻像素的梯度之和以及相隔像素的差方之和。同时，图12 的实验中清晰图像已知，我们加入了图像结构相似性评价。如表1 所示，在全参考图像质量评价的图像结构相似性以及无参考图像质量评价方面，复原图像均高于模糊图像指数值，说明复原图像质量得到提升。

图12 清晰图像、编码曝光图像与复原图像Fig.12 Clear image, coded exposure image and restored image

表1 图12 中编码曝光实验的图像质量评价指数Table 1 Image quality evaluation index of coded exposure for Fig.12

为了获得同一条件下的对比实验，在同一个编码曝光相机上，采用全“1”的码字，类比一般单次相机曝光模型。需要获得同一条件下的运动模糊图像，拍摄时物体的运动在伺服系统下进行，保持速度、光照等外部条件接近一致。由于Pan[18]的基于强度和梯度先验的L0 正则化图像去模糊方法，对文字和图形图像均具有很强的重建能力，因此本文选取该方法与本文的编码相机恢复方法进行对比，获得的模糊图像及其复原图像如图13 所示。

在图13 中，编码曝光图像13（a）与普通曝光模糊图像13（c）相比，视觉上的模糊程度是相近的，但编码曝光亮度偏暗。然而，由于编码曝光图像中隐含着图像的高频信息，因此重建恢复图像在文字笔画及结构上更加清晰，如编码曝光的恢复图像的放大图13（e）中，中文的“硕士”、“采集”与普通曝光恢复图像13（f）中相应二字清晰度更高。在英文方面，“Embedded”和“System”等单词可读性亦更强。为了客观评价图像复原质量，选取上述无参考图像质量评价指标，如表2 所示。

图13 本文采集编码曝光复原图像与普通曝光去模糊方法[18]复原图像对比Fig.13 Comparison between restored images of coded exposure restored method and general exposure deblurred method[18]

表2 图13 中编码曝光实验的图像质量评价指标Table 2 Image quality evaluation index of coded exposure for Fig.13

从表2 中可以看出，一般单次曝光和编码曝光的复原图像均比模糊图像指标要高，说明恢复了部分高频信息。经过进一步对比指标的提升率发现，图13 中测试图像的各测试指标平局值从一般曝光情况下的36.32%提高到编码曝光条件下的69.47%，复原后图像质量的指标平均值提高了近1 倍，说明编码曝光条件下的复原能力要更强。

4 结论

本文设计了一种运动图像去模糊的嵌入式编码曝光相机系统。利用CCD 衬底控制技术，实现持续编码曝光控制和一次电荷转移读出光生电荷，从而获得编码曝光图像。同时，将图像的解码过程在同一控制器中实现，获得清晰运动复原图像。实验结果表明，本文所设计的嵌入式图像系统能够解决运动模糊图像的复原问题。以较低成本实现较高帧率相机的清晰复原图像，并利用无参考图像评价指标测试，与一般曝光相比，相关指标提升的平均值约为一般普通曝光相关指标值的2 倍。