高动态范围成像最小包围曝光方法

白本督， 范九伦

(西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

高动态范围成像最小包围曝光方法

白本督， 范九伦

(西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

针对当前相机包围曝光成像集合冗余信息多的问题，提出一种高动态范围成像最小包围曝光获取方法。该方法依据目标相机的可捕获曝光集合构造相机响应函数，从而建立曝光集合与响应函数的映射。然后通过遍历的方法寻找涵盖目标场景动态范围的最小包围曝光集合。对典型的高动态范围逆光场景的实验表明，所提方法可有效的减少包围曝光方式捕获图像的数量，从而降低高动态范围多曝光方式成像的总体捕获时间。

高动态范围成像；辐射度；包围曝光

当前的数字成像设备单次曝光成像的动态范围远低于人类视觉的可视动态范围(包括专业级单反相机，专业监控设备，个人手持终端等)。由于其单次曝光可获得图像的动态范围有限，称为低动态范围成像设备。为了精确捕获高动态范围场景，近20年来，研究者提出了许多方法来扩展相机的动态范围[1-5]。采用单台相机多次曝光的手段进行高动态范围成像的合成是目前被广泛采用的手段[6-10]。迄今为止，大量的高动态范围成像研究工作致力于解决如何更好的合成一组通过多曝光方式获得的低动态范围图像，而如何获取一组有效的低动态范围图像则较少关注。2003年，Grossberg & Nayar提出一种通过合理选择多次曝光的组合，构造高动态范围相机响应函数的想法[11]，并给出了最优曝光组合目标函数，但并未给出求解方法。2006年，Malley给出了一种简单的自动多次曝光获取方法[12]，该方法实现了高动态范围成像多次曝光的程序化自动实现，但仍然是基于常规的多曝光获取方法。2008年，Barakat等人提出一种最小曝光包围集合高动态范围图像获取方法[13]。但是该方法需要对目标场景预捕获，从而获得目标场景动态范围。并且，其动态范围的获取基于RGB三独立通道亮度信息的交集，会导致获取的目标场景动态范围误差大，计算复杂。

本文提出一种最小包围曝光高动态范围图像获取方法，并给出了一种简单有效的最小包围曝光集合迭代求解法。

1 包围曝光

目前，数字成像设备单次曝光成像的动态范围很有限。复杂场景，如户外，逆光等条件下，目标场景的动态范围往往超出当前相机单次曝光的可捕获动态范围。适当的设置曝光补偿量，可获得一组涵盖目标场景动态范围的单次曝光图像，即包围曝光。而相机的最大可捕获动态范围等于获取的一组单次曝光最低光辐射度至最高光辐射度的涵盖范围。

实际相机的可捕获动态范围往往由相机的可获得曝光级数“stops”决定。一般而言，曝光取决于多个因素，包括光圈大小、快门时间、ISO设置、镜头焦距、具体的镜头口径等。由于最终的曝光取决于成像传感器接收入射光的能量Q，即

A≡EAΔt，

其中E表示入射光辐射度，A表示成像传感器面积，Δt表示曝光时间。因此，为便于讨论，可简化曝光参数表示为快门速度一个参数。比如，若快门速度以1/100s，1/50s，1/25s成倍递增方式递进，则从1/1 000s到15s需要大约14stops。

相机曝光补偿量通常以EV计，EV值每增加或减少1.0，相当于摄入的光线量增加或减少一倍。因此增加或减少1EV等同于上述快门速度增加或减少一倍时间。不同相机的补偿间隔可以以1/2EV和1/3EV的单位来调节，则相应可获得的曝光级数“stops”也相应增加。

假定某成像系统具有n+1级曝光级数，可表示为

Q={Q0,Q1,…,Qn}。

若Q以增量曝光方式排序，则对于任意j>i，Qj在成像传感器上将获得比Qi更多的入射光。

此时，相机可捕获辐射度范围为

基于以上描述，图1是相机设定为曝光Qi时的相机响应曲线图。其中纵坐标表示相机的可记录像素值(8位)，横坐标表示相机的可捕获光辐射度。

图1 单次曝光相机响应曲线

图2解释低动态范围成像系统如何通过多曝光方式增加动态范围。图中画出了相机的可记录像素值以及相对应的曝光设置下的目标场景光辐射度。图中每一条曲线代表该曝光设定下的相机响应曲线。曝光设置越大，成像传感器接收越多的入射光。以至于可侦测光辐射度下移，从而允许更多的欠饱和暗区被捕获。同样的，更低的曝光设置可用于捕获目标场景中更亮的区域。对于给定的成像系统，所有曝光可捕获范围ei组成一组相互交错的区间。而该成像系统总的可捕获范围esys等于各子曝光捕获范围的综合。

图2 多曝光高动态范围成像原理

通常相机包围曝光可获得的曝光设置的数量和密度大于目标场景的需求。因此，实际场景拍摄仅需要相机可获得曝光包围集合中的一个子集。

2 最小包围曝光算法

对于给定的低动态范围成像系统，以多曝光合成的手段进行高动态范围成像，为了保证目标场景被完整记录，常规方法是以包围曝光的方式获取一组涵盖目标场景动态范围的低动态范围图像。如图2所示，包围曝光方式获取的低动态范围图像集合存在动态范围上的相互交错。而动态范围的相互交错表明这些低动态范围图像集合包含冗余信息。

丁达仍旧趴在地上一动不动。在他体内，壶天晓和镜心羽衣瘫软在向导室的座椅上，一边设法恢复精力，一边等待同伴创造奇迹。他们搭建的感应网络依然十分稳定，因此，同伴的行踪他俩都一清二楚，这无疑是个好势头。壶天晓已把自己最新的经验库通过感应网络分享给了蓝蓝，他相信这个已有他大部分经验库的机器人有能力在地面上保护幽之谷的居民，并狙击飞鼠小分队。

最小包围曝光算法的主要目的就是寻求一个最小包围曝光组合，从而尽可能的减少包围曝光冗余。这个最小包围曝光集合是包围曝光集合的子集。

对于给定的成像系统，其可获得的包围曝光集合Q={Q0,Q1,…,Qn}是确定的。采用已公开的相机响应函数求解方法[14-15]，可求得该成像系统于曝光设置Qi时辐射度范围ei、系统整体可捕获辐射度范围esys。将包围曝光集合中的Qi与求得的ei建立映射表用于查表。

输入 包围曝光辐射度集合

esys={e0,e1,…,en}

以及相应的曝光设置集合

Q={Q0,Q1,…,Qn}。

输出 最小包围曝光集合

M={M0,M1,…,Mn}。

初始化 添加最小曝光至解集合

curr = 0;

for i = 0 : n+1

Mresult=Qi;

curr =i ;

else return

迭代求解

while curr <= n+1 do

next = next +1;

result = result +1;

Mresult=Qnext;

curr =curr +1;

图3是以上算法描述的一个实例，假定系统具有7级曝光设置，该成像系统曝光集合

Q={Q0,Q1,Q3,Q4,Q5,Q6}。

算法首先依据已测得的目标场景的最小辐射度，确定适合目标场景的初始曝光设置。算法初始化时从系统最长曝光设置Q0开始迭代，至Q1结束，找到目标场景初始曝光设置Q1，添加至最小曝光集合Mresult。

然后算法从Q1开始遍历迭代，寻找具有最小交错区间的Qi加入最小曝光集合Mresult。比如经过一次迭代后，包围曝光集合中的Q2被剔除，Q3被选中加入最小曝光集合Mresult。重复以上过程直至迭代结束。输出结果最小曝光集合

Mresult={Q1,Q3}。

图3 最小曝光包围算法示例图

3 实验及结果分析

3.1 实验平台

为了验证文中提出最小包围曝光算法的有效性，使用Cannon 700D作为成像捕获平台，并通过实验的方法获得相机响应函数如图4所示。响应函数的中部区域是线性的，底部受制于相机的暗电流噪声和成像时间，而顶部受制于成像传感器(CMOS)的饱和电平。选用的相机平台具有14位RAW格式成像精度，单次曝光可捕获像素值从0到16 384。实际上，由于底部暗电流噪声与顶部饱和电平的影响，响应函数线性区域在32～14 000之间。对应于快门时间30 ～1/4 000 s。因此，平台的有效可捕获动态范围约7个数量级。

图4 成像实验平台相机响应函数

3.2 结果分析

采用上述实验平台针对典型的高动态范围逆光场景，从1/4 000s至30s以1/2单位递进捕获包围曝光图像18幅，如图5中(a-r)所示。目标场景跨越动态范围约为7个数量级。采用本文所述最小包围曝光算法，则仅需3幅即可获得涵盖目标场景动态范围的最小包围曝光集合，图5(d)、图5(i)和图5(o)的曝光时间分别为1/500s，1/15s和4s。

(a) 1/4 000s (b) 1/2 000s (c) 1/1 000s

(d) 1/500s (e) 1/250s (f) 1/125s

(g) 1/60s (h) 1/30s (i) 1/15s

(j) 1/8s(k) 1/4s(l) 0.5s

(m) 1s (n) 2s (o) 4s

(p) 8s (q) 15s (r) 30s

为进一步说明问题，将包围曝光的18幅图像与自动单次曝光图像(1/15s)以及最小包围曝光3幅图像制作相应的光辐射映射散列点图，如图6(a-c)所示。

(a) 包围曝光 (b) 自动单次曝光 (c) 最小包围曝光

图6 围曝光方式、单次曝光、最小包围曝光可捕获光辐射度散列点对比

比较包围曝光与自动单次曝光可捕获光辐射散列点图可见，包围曝光有效的扩充了单次曝光的可捕获动态范围。比较包围曝光与最小包围曝光散列点图可见，两者具有相同的可捕获光辐射度范围，但最小包围曝光集合由于去除了包围曝光的冗余信息，具有更好的一致性。

4 结论

提出一种应用于高动态范围场景的最小包围曝光图像捕获算法。该方法采用测光表或相机内置测光器直接获取目标场景最亮和最暗亮度，从而获得目标场景动态范围，避免了由RGB三独立通道获取亮度信息导致的误差大，计算复杂的不足。实验结果表明本文所提算法可有效的减少当前广泛采用的包围曝光方式捕获图像的数量，从而降低高动态范围多曝光方式成像的总体捕获时间，减少存储空间。并且，所述算法可嵌入当前的成像设备，包括手持设备、监控成像设备、商业相机等，从而弥补传统包围曝光手段冗余信息多，曝光补偿量主要依赖经验，不宜控制的不足。

[1] Reinhard E, Ward G P, Wang B, et al. High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting[M]. San Mateo: Morgan Kaufmann, 2005.

[2] Nayar S, Mitsunaga T. High dynamic range imaging: Spatially varying pixel exposures[C]//IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE, 2000: 472-479.

[3] Aggarwal M, Ahuja N. Split aperture imaging for high dynamic range[J]. International Journal of Computer Vision, 2004,58(1): 7-17.

[4] Kang S B, Uyttendaele M, Winder S, et al. High dynamic range video[C]//ACM SIGGRAPH 2003 Papers. New York : Association for Computing Machinery, 2003: 319-325.

[5] Michael D T, Chris K, Nora T, et al. A Vesatile HDR Video Production System[C]//Proceedings of ACM SIGGRAPH 2011. United States: Association for Computing Machinery, 2011:410-411.

[6] Jinno T, Okuda M. Multiple Exposure Fusion for High Dynamic Range Image Acquisition[J]. IEEE Transactions on Image Processing, 2012, 21(1):358-365.

[7] Moumene M E, Nourine R, Ziou D. Generalized Exposure Fusion Weights Estimation[C]//Canadian Conference on Computer and Robot Vision. Montreal : IEEE Computer Society , 2014:71-76.

[8] Li S, Kang X. Fast multi-exposure image fusion with median filter and recursive filter[J]. IEEE Transactions on Consumer Electronics, 2012, 58(2):626-632.

[9] Zhang W, Cham W. Reference-guided exposure fusion in dynamic scenes[J]. Journal of Visual Communication & Image Representation, 2012, 23(3):467-475.

[10] 伍世虔, 李政国. 高动态范围成像[J]. 西安邮电大学学报, 2013,18(2):1-13.

[11] Grossberg M D, Nayar S K. High Dynamic Range from Multiple Images: Which Exposures to Combine?[C]//Proc Iccv Workshop on Color & Photometric Methods in Computer Vision, France: IEEE Computer Society, 2003:1-8.

[12] O’Malley S M. A Simple, Effective System for Automated Capture of High Dynamic Range Images[C]//IEEE International Conference on Computer Vision Systems. IEEE Computer Society, 2006:15-22.

[13] Barakat N, Hone A N, Darcie T E. Minimal-Bracketing Sets for High-Dynamic-Range Image Capture[J]. IEEE Transactions on Image Processing, 2008, 17(10):1864-1875.

[14] Debevec P E, Malik J. Recovering High Dynamic Range Radiance Maps from Photographs[C]//Proceedings of Annual Conference on Computer Graphics.[S.I.]:Interactive Techniques Acm Press, 1997:369-378.

[15] Grossberg M D, Nayar S K. Determining the Camera Response from Images: What Is Knowable?[J]. Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(11):1455-1467.

[责任编辑:孙书娜]

Minimal exposure bracketing algorithm for high dynamic range imaging

BAI Bendu, FAN Jiulun

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

Due tothe existing redundant information in the conventional high dynamic scene capturing with multi-exposure, a minimal exposure bracketing set algorithm for computing minimum number of exposure sets for accurately capturing HDR scenes is presented in this paper. In this method the camera response function is generated based on the exposure bracketing sets of the target camera, and the mapping between the exposure set and the response function is therefore established. The minimum number of exposures is achieved by a simple exhaustive search. Experiments show that this minimal exposure bracketing algorithm can provide minimization of HDR acquisition time and storage requirement.

high dynamic range imaging(HDRI)，irradiance，exposure bracketing

2015-04-28

公安部技术研究计划重点资助项目(2014JSYJA018)；陕西省教育厅科学研究计划资助项目(12JK0731)

白本督 (1972-)，男，博士，讲师，从事图形图像处理研究。E-mail：baibendu@xupt.edu.cn 范九伦(1964-)，男，博士，教授，博导，从事图像处理、信息安全研究。E-mail：jiulunf@xupt.edu.cn

10.13682/j.issn.2095-6533.2015.05.008

TN911.74

A

2095-6533(2015)05-0043-05