裸眼3D拍摄与显示的视觉深度控制

贾振堂，霍 涛

(上海电力学院通信工程系，上海200090)

由于裸眼3D在观看时不需要佩戴眼睛，且可以采用多视点手段，让用户从不同的视角看到物体的不同侧面，因此更加具有真实感。因此，裸眼3D正在被逐步应用于很多领域。然而，目前也有很多制约裸眼3D发展的因素，其中片源是其中一个重要的方面。

对于大多数3D内容，通常可以采用3DMAX等3D创作工具软件来设计制作［1］，通过多台虚拟摄像机共同拍摄，从而很方便地得到多视点的视频内容。但是，对实际生活中的某些实际场景和对象，用户如果需要看到真实3D效果，就很难用创作工具来建模制作，这就需要通过摄像机的真实拍摄和处理来得到。

然而，如何进行拍摄和处理才可以达到预期的目的，使得特定的场景内容重建在特定的深度位置上?本文分析了拍摄和显示过程中可能遇到的问题，给出了具体的设计和计算方法，从而使得拍摄和显示的效果可以预料和控制。

1 裸眼3D显示基本原理

3D视觉效果，来自于左右眼的视差［2］。如图1，OL和OR是同一物点O在左右两个图像中的像，O'是O的视觉重建。当处于图1a的情况时，右眼看到的图像在左边、而左眼看到的图像在右边，两个视线的交点就是在大脑中感觉到的重建像O'的虚拟3D位置，这时是凸出到屏幕前面，为负深度。类似地，图1b中，OL和OR位于屏幕的同一位置，虚拟重建像点O'也与它们一样位于同一位置，即在屏幕的表面上，为0深度。而图1c中，O'则在屏幕的表面的背后，为正深度。

图1 3D显示原理

裸眼3D的原理是在不带眼镜的情况下，通过某种方法让左右眼分别看到具有视差的两幅图像，从而在大脑中感觉到深度层次的存在(如图1所示的原理)［3-4］。通常会将从不同视角拍摄的多幅图像融合显示在一个平面显示器上，并采用狭缝光栅或者柱状透镜光栅的方法来将它们分别投射到左右眼中，即“分像”作用。

图2中是3个视点的例子，人眼处于图中的位置时，左眼看到的全部是画面2的像素，而右眼看到的全部是画面3的像素，它们构成一个图像对，即图像2-3。人眼左右移动，左右眼就可以分别看到图像对2-3、3-1和1-2。因此只要相邻画面为具有一定视差的画面，人们就可以看到立体视觉效果［5］。

图2 狭缝光栅的多视点显示原理

因此，在显示的一幅平面图像中，适当地安排各个图像的像素排列，通过图2的原理达到“分像”的效果;同时，同一物点的像在各分图中位于不同的坐标位置，通过图1的原理达到3D的视觉效果。

2 3D视频的拍摄

3D拍摄通常有两种相机配置方法，即平行相机和汇聚摄像机［2］。由于汇聚摄像系统必然产生图像内容的梯形变化，需要更为复杂的后处理。这里选择平行摄像机配置为例。

平行相机系统中，多个摄像机的光心位于一条直线上，光轴互相平行。各个相机拍摄的图像将最终作为裸眼3D显示的“分图像”。由于3D重现时，人眼在同一时刻只看到相邻的两幅图像，因此下面取任意两台相邻摄像机来研究，例如C0和C1(见图3)。

图3 空间点P在两台相邻的摄像机中的像

设在世界坐标系中的物点P(X，Y，Z)，摄像机C0的光心位置为C0(0，0，0)。摄像机的图像平面垂直于Z轴，在此平面中建立图像平面坐标系(x，y)，x轴和y轴的方向分别与X，Y方向平行，坐标原点位于图像的中心。设点P(X，Y，Z)在C0像平面坐标系中的像点坐标为p0(x0，y)，则有

式中:f为摄像机的焦距，即光心与像面的距离。

假设另一台同样规格的摄像机的位置为C1(B，0，0)，B＞0，与第一台摄像机平行放置，间距为B。设同一物点P(X，Y，Z)在该摄像机的像平面坐标系中的像点为p1(x1，y)，其y坐标与p0(x0，y)中的相同，x1坐标为

把拍摄到的两幅画面重叠放置时，p1和p0并不重合，而是有一定的相对位移dx=x1-x0，这就是视差。实际上，在3D重现时，由于显示器的尺寸可能随时变化，因此引入显示放大倍数k，即在显示屏幕上的实际视差物理位移为

可见，当k，B，f固定时，dx'与Z成反比关系，因此视差dx记录了深度Z信息。

3 3D视觉深度重现

在进行裸眼3D显示时，全部N个相机拍摄的图像将被重叠显示在一个屏幕上(当然观看时要经过光栅的分像处理，这里不详细讨论)。为论述方便，这里为重建系统建立坐标系(X'，Y'，Z')，原点位于显示器的屏幕中心，Z'轴指向屏幕背后，如图4所示。设重建的虚拟物点为P'(X'，Y'，Z')，根据几何关系，则无论视差为正还是为负，都可以推导出如下关系

式中:D为观看距离，即人眼到屏幕的距离(无符号数);E为人的左右眼间距(无符号数)，而Z'和dx'为有符号数。在某一观看位置，人眼只被允许看到由相邻分图像组成的图像对，比如I0和I1，I1和I2，I2和I等。然而，人眼对左右图像的不同观察次序将会导致不同的视觉效果。

图4 同序观看的情况

3.1 同序观看

假设让左边的眼睛看到左边相机拍摄的图像(如I0)，右眼看到右眼相机拍摄的图像(如I1)，即同序观看，如图4所示。

则重建的虚拟像点P'将位于屏幕和人眼之间，亦即具有负深度。式(3)即描述了这种关系，将式(3)代入(4)，则

由于Z∈(f，∞)，可知Z'∈(－，0)，Z'全部为负深度，因此所有物体都被压缩显示于屏幕和人眼之间，并且深度次序是正确的。

3.2 反序观看

反过来，让左边的眼睛看到右边相机拍摄的图像(如I1)，右眼看到左边相机拍摄的图像(如I0)，即反序观看，则像点P'将位于屏幕之后，如图5所示。

图5 反序观看的情况

这时有

从几何关系上明显看出:如果dx'≤E，则视线无法在眼睛前方汇聚。因此必须有dx'＜E，将式(6)代入可得

由式(8)和(7)可知，Z'＞0，即所有物体都被压缩显示于屏幕之后的一段距离内。并且深度次序是逆转的，即实际上远的物体看起来近，而近的却看起来远。因此，这种模式不能得到正确的视觉效果。

3.3 深度移动

根据上文的讨论，应该选择同序观看方式，以便得到正确的观察结果。

然而，即使在这种方式下，所有重建对象都凸出在屏幕前方，会影响显示效果。因为在现有的多视点显示技术中，虚拟位置偏离屏幕表面时，都会带来分图像之间的交调现象，偏离屏幕越远交调现象越严重。这是实际显示过程中难以避免的。因此，希望将重建对象的虚拟位置整体向屏幕后方移动，以便使最重要的重建内容位于屏幕的表面，即显示坐标系中的0深度，而整体场景以屏幕表面为中心在深度上前后分布，从而得到最佳的视觉效果。如图6所示。

假设世界坐标中Z=Z0处的物体虚拟显示在屏幕表面，则Z0的重建虚拟深度Z0'=0，或者对应的视差为0。为此，将画面左右相对平移Δx，使得Z0处的物点对应的屏幕视差为0，即可达到目的。即令dx'Z=Z0+Δx=0，结合式(3)得

式中:K0=fk/Z0。例如对于图像对I0和I1，需要将I0向左平移|Δx|，或者将I1向右平移|Δx|。裸眼3D的分图像(即视点)数通常采用5～9个，则每一对相邻视图之间都要做相对平移。以5视点为例，即分图像为I4，I3，I2，I1，I0。可选择中间的图像I2不作移动，而左边摄像机的图像 (I0，I1)都向左移动，即I1左移|Δx|，I0左移2|Δx|，右边摄像机的图像都向右移动，即I3右移|Δx|，I4右移2|Δx|。平移后，物体的重建虚拟深度Z'变为

由于f/Z0为拍摄时的缩小比例，k为显示时的放大比例，因此K0为综合的缩放比例，即:中心物面Z0处的物体真实尺寸与其屏幕显示尺寸的变换比例。设空间物体的实际尺度为S，它在屏幕上显示的物理尺度为S'，则有

比如Z0处有一个直径10 cm的球，其在屏幕上显示的实际尺寸也是10 cm，则K0=1，如果在屏幕上显示为5 cm，则K0=0.5。这提供了一种从宏观角度估算平移像素数量的方法，即首先测量S'和S，并计算K0，然后根据K0计算Δx。

4 拍摄和处理步骤举例

拟拍摄的场景中包括坐在椅子上翘起腿的人物，人物后面的桌子以及桌子上的茶杯，桌子后面是白色的墙壁，如图7所示。选择5视点系统，采用上海狼影通信技术有限公司出品的21.5 in(1 in=2.54 cm)狭缝光栅裸眼3D显示器，点距离0.248 mm，显示分辨率为1 920×1 080。

采用5台摄像机同时拍摄，摄像机配置为B=60 mm。拍摄画面如图8所示。

图7 拍摄场景布局

图8 5台摄像机的画面

作为例子，选择人物为核心对象，也就是显示的时候希望把人物显示在屏幕的表面，来估算像素平移的数目，处理步如下:

1)测量人物的实际高度。人物坐下来的实际高度为S0=1 250 mm。

2)测量人物在显示器上的高度。把其中任意一个图片显示在屏幕上，并测量人物的高度，约为200 mm。

3)计算K0，K0=S'/S=0．16 。

4)计算画面平移的物理距离为Δx=K0B=9．6 mm。

5)计算折合像素数n=Δx/0．248=38．7像素。

据此，进行图像的平移与3D合成，合成的方法见参考文献［5］，这里不再详述。合成后的效果如图9c所示。

图9a是原始图像的直接合成，没有做平移处理，这时的重建画面都虚拟显示在屏幕的前方，由于大部分内容的视差较大，图像交调现象明显，视觉效果不好。图9b是平移28像素的合成情况，杯子的视差为0，杯子显示在屏幕表面，最为清晰，而人物的视觉效果依然不佳。图9c为平移38像素的情况，人物纵向中心(例如右手)位置的视差为0，各个分图像的这部分内容完全重合在一起，人物中心虚拟重建在屏幕的表面，杯子和双脚分布在屏幕的后面和前面，这时画面的整体3D视觉效果比较好。

在实际的拍摄处理过程中，由于计算和测量的误差，需要在合成软件中为用户提供中心物面的选择机会，并依据实际视觉效果进行画面平移量的微调。

5 小结

本文分析了3D拍摄过程中可能遇到的技术问题，详细讨论了平行摄像机系统下，从拍摄到屏幕重现的原理、不同的显示方法所带来的不同效果，以及重建视觉深度的调节方法，给出了具体的计算关系。该方法不仅适合于静态图像的处理，也适合动态场景的设计，比如将舞台中心作为中心物面，则舞台上的人物活动的整体视觉效果都会比较好。作为一个例子，总结了具体深度要求下的图像平移像素数目的估算步骤，实验显示了计算的正确性，为裸眼3D的内容拍摄者提供参考。

:

［1］杜江，刘文文.基于自由立体显示的3DMAX立体显示功能的实现［J］.计算机时代，2007(7):30-31.

［2］贾振堂，张俊峰，韩艳芳.Windows环境下的立体视频测试平台技术［J］.电视技术，2007，31(9):80-83.

［3］王琼华.3D显示技术与器件［M］.北京:科学出版社，2011.

［4］ JAVIDI B，MYUNGIIN C.3D imaging and visualization:an overview of recent advances［C］//Proc.12th Workshop on Digital Object Identifier.［S.l.］:IEEE Press，2013:1-3.

［5］ JIA Zhentang，HAN Yanfang.3D mouse realization in autostereoscopic display［C］//Proc.Multimedia and signal Processing Seconds International Conference.Shanghai:［s.n.］，2012:367-374.