水下平行双目成像测距关键技术研究

郑 冬,刘向宇,李萍萍,李雨坤,马 萱

(1.重庆电力高等专科学校,重庆 400053;2.中国电子科技集团公司第四十四研究所,重庆 400061)

计算机视觉领域的兴起,进一步加快了人类科技的发展,双目视觉技术在陆上已得以充分的利用,很多研究者们又纷纷把该技术投向海洋。海洋拥有丰富的矿产、化学等资源,但都蕴藏于深海中,直接潜入深海勘察存在一定的危险,利用水下机器人或相应探测设备代替人类进行海洋勘察变得至关重要[1]。

水下探测主要以声学探测和视觉探测为主。声音在水中具有很强的穿透力,声呐探测在海洋探测中也发挥了一定的作用。声呐探测以信号接收为主,存在信号干扰,仅适用于大范围、大距离、大规模的水下探测,探测到的信息不够全面,因而存在一定的局限性[2]。相比声呐探测,视觉探测具备近距离、高精度、强直观性的优点,可以精确探测海洋信息。

视觉探测分为主动式和被动式探测。主动式探测通常含有激光探测,成本较为昂贵。被动式探测分为单目、双目、多目。单目无法恢复深度信息,多目需要耗费多的相机,双目不仅可以恢复深度信息,获得物体的三维姿态,且成本可控[3-6]。因此,水下双目视觉技术在海洋勘察中发挥着重要的作用。

同一目标物在水下和陆上,其光线在进入透镜过程中的折射程度不同。在国外,Lavest J M等[7]就通过高阶畸变补偿的方法来减小水下折射变化带来的影响,即从径向畸变和切向畸变进行修正。Ferreira R等[8]利用等效焦距的方法来等效水下折射的影响,减少水下折射带来的误差影响。Gedge J等[9]对折射进行了分析,建立出水下成像的几何方程,但是忽略了隔水玻璃厚度对折射的影响。Agrawal A等[10]对折射成像进行了建模,并使用五点算法求解折射率。由于模型过于复杂,计算起来存在一定的困难,因此没有得到推广运用。

水下成像与陆上成像本质差别还是光路。王玲玲等[11]讨论了水下相机的焦点置于水的不同位置的成像过程,在入射角度较小的情况下,引入径向、切向畸变来补偿,但未分析光路的二次折射,因此做相应的实验验证其合理性。高新浩等[12]对相机的折射过程进行了建模分析,将陆上畸变引入折射,用折射畸变方式抵消水下成像误差,但效果不是很明显。陈少佳[13]对水下二次折射进行了建模,利用粒子群优化算法实现了相机参数的求解,但没有在二次折射中对相机焦点置于水中的位置进行讨论。

综上所述,无论是国内,还是国外,对于水下双目视觉成像技术的研究或多或少存在不足。本文针对是否考虑隔水玻璃厚度分别进行了光路分析,对相机焦点所处的位置情况进行阐述,建立对应的模型。本实验平台需要考虑隔水玻璃的厚度,对水下平行双目成像进行光线折射分析,建立了水下折射处理模型。利用水下图像等效为空气图像的算法,以及在小视场中对折射处理模型进行近似化的算法开展水下测距实验,均取得了不错的效果。

1 水下成像原理

水下平行双目视觉成像与在陆上不同,光线传播介质发生了改变。水下成像主要包含是否考虑隔水玻璃厚度、相机置于水体中还是水体外、相机焦点所处的位置等情况,在不同情况下需要进行对应分析[14-15]。建立如图1所示的同一物点在两介质中的光路传播图进行分析。

图1 两介质光线传播路径

在陆上,光线传播路径为空气→相机,在水下,光线传播路径为水→玻璃→空气→相机。同一物点,水下介质成像相比空气介质成像,像点更大,因此陆上的标定、测距模型不能直接运用于水下。

对比水下和陆上的光线传播路径可知,最后传播路径均为空气→相机。针对同一物点,若能把水下像点全部等效到陆上,即把水下图像等效为对应的空气图像,就可套用陆上标定、测距模型。从像点分析,同一物点在水下的像距大于在陆上,因而可以从像距变化上建立对应的关系。本文对相机置于水体中、置于水体外的情况分别进行分析,具体如下所示。

2 相机置于水体中

相机置于水体中时,取世界坐标系中的一个物点Pw(xw,0,zw),此时相机的焦点就处于水中。如图2所示,相对空气介质来讲,同一物点在水介质中进入相机时的像点Pwater(xwater,0)和在空气介质中的像点Pair(xair,0)重合,即透视变化过程之前的光线传播均相同。

图2 水下折射光路

空气中的相机成像在透视关系中本身就是非线性变化模型,相机置于水体中时,仅畸变与空气不同,因此可以直接套用空气中成像模型进行水下测距。

3 相机置于水体外

3.1 忽略隔水玻璃厚度

3.1.1 相机焦点置于空气与水交界处

不考虑隔水玻璃的厚度,当相机置于水体外时,成像过程为水→空气→透镜。相机成像时,事物光线会聚于相机焦点,再成像到相机CCD。为了能够通过一幅水下图像得到其等效空气图像,需要将隔水玻璃与空气的交界设置于相机焦点处。

建立如图3所示的水下光线传播示意图,取世界坐标系中的一个物点Pw(xw,0,zw),通过空气介质传播到Pair(xair,0),通过水下介质传播到Pwater(xwater,0),分析有水与无水的光线传播成像点是否存在对应关系。建立两介质针对同一物点进入透镜时的对应关系,先以深度值为切入点,置于XOZ平面进行研究,建立关系方程式为

(1)

图3 相机焦点置于介质交界处

式中:xair为物点xw在空气介质中的像点;xwater为物点xw在水介质中的像点;θ1为入射角,θ2为折射角;f为相机焦距;nwater为水介质的折射率,nair为空气介质的折射率。

忽略隔水玻璃厚度时,求解同一物点水下与陆上的成像对应关系为

(2)

3.1.2 相机焦点未置于空气与水交界处

在实际运用中,相机的焦点并非完全处于水与空气的交界处,焦点可能处于交界处之上或之下。对于式(2)能否运用于此情况需要做进一步的分析,为了不失一般性,这里以焦点处于水与空气交界处之下为例,建立如图4所示的光线分析图。

图4 相机焦点未置于介质交界处

取世界坐标系中的任意点Pw(xw,0,zw),作一条点Pw的平行光线过点PD(xD,0,zD),且过外焦点。结合三角形相似原理,建立关系方程为

(3)

变换式(3)得:

(4)

当物距较大,满足z≫f或z≫|d-f|时,式(4)等效为

xair≈xd

(5)

同理,当焦点处于水与空气交界处之上,即d

不考虑隔水玻璃的厚度,相机焦点置于交界处,物距不论大小,均可以把水下图像等效为空气中的图像。相机焦点不置于交界处,当物距较大时,水中成像点与空气中的成像点也可以近似存在一一对应关系,即直接近似为焦点处于交界处。

3.2 考虑隔水玻璃厚度

在很多实验过程中,隔水玻璃的厚度都不能忽略。若忽略隔水玻璃厚度,且相机焦点也未置于交界处,将会造成更大的水下测距误差。为保证水下测距的准确,需要对隔水玻璃材质的厚度进行考虑,并对水下成像的二次光线折射进行建模。

3.2.1 相机焦点置于隔水玻璃与水的交界处

考虑隔水玻璃的厚度时,成像过程就变为水→玻璃→空气→透镜。先以相机焦点处于隔水玻璃与水的交界处为例进行分析,物点水下传播的光线在水介质中的成像点为Pwater(xwater,0),空气介质中为Pair(xair,0)。

图5为水下光线传播示意图,先分析物点在空气介质中的传播光线、物点到像点的光线。建立方程式为

图5 相机焦点置于水与玻璃交界处

(6)

式中:nglass为隔水玻璃折射率;θ5为空气介质中入射光线到隔水板介质的折射角度(与θ6等值);θ7为空气介质中隔水板介质到空气介质的折射角度(与θ1等值);T为隔水玻璃介质的厚度。

由式(6)推导得:

+(f-T)×tan(θ1)

(7)

再分析物点在水介质中的传播光线,建立方程式为

(8)

式中:θ4为水介质中入射光线到隔水玻璃介质的折射角度(与θ2等值);θ3为水介质中隔水玻璃介质到空气介质的折射角度。

变换式(8)得:

(9)

此时联立式(7)和式(9)得水下成像点与空气成像点关系,式(9)可以通过水下已知的某一点xwater反求对应θ1值,回代式(7)即可与xair实现一一对应关系。

3.2.2 相机焦点置于隔水玻璃与空气交界处

相机焦点处于隔水玻璃与空气的交界处时,如图6所示。空气介质中物点与水介质中的物点经过透镜折射,会聚于相机焦点成像于相机中的两点。

图6 相机焦点置于空气与玻璃交界处

同理,分析空气介质中的物点,建立光线折射方程式为

(10)

变换式(10)为

xair=f×tan(θ1)

(11)

再分析水介质中的物点Pw(xw,0,zw),建立方程式为

(12)

联立式(11)、式(12)求解得:

(13)

由式(13)可知,利用水介质中的像点转换得到的空气介质等效光线为图6所示的虚线光线,但实际需要求解的是与水介质中入射光线等同的空气介质光线。由图6可得,两光线距离相差为d,若空气介质光线(图6中的虚线)往左边移动间隔d,那么对应到像素成像点,也需要移动等距,即:

(14)

其中,

d=T×[tan(θ2)-tan(θ5)]

(15)

由式(10)、式(12)解出

(16)

(17)

当相机焦点置于隔水玻璃与空气的交界处时,联立式(14)至式(17),即可求解水下像素坐标点与空气中的像素坐标点之间的对应关系模型。

3.2.3 相机焦点未置于介质交界处

相机焦点未置于交界处时,会出现3种情况。先分析相机焦点置于隔水玻璃与水交界处之上、置于隔水玻璃与水交界处之下2种情况。两种光线折射传播如图7、图8所示。

图7 相机焦点置于玻璃与水交界处之上

图8 相机焦点置于玻璃与水交界处之下

分析图4所示的水下光线折射可以得到,物距较大时,图7、图8的模型可分别近似为图5、图6所对应的模型。当相机焦点置于隔水玻璃中时,光线折射分析示意图如图9所示。

图9 相机焦点置于隔水玻璃中

联立图6对应的水下光线折射模型,针对同一物点,分析图9对应的空气介质光线:

(18)

显然,Δd很小时,等价式(14)。分析如图8所示的光路,在水介质中有:

(19)

同理:

d=T×[tan(θ2)-tan(θ5)]

(20)

联立式(18)至式(20)得:

xair=(f-Δd)×tan(θ1)

(21)

其中:

(22)

因此,在Δd已知的情况下,利用式(21)和式(22),可以建立起水下成像点与空气成像点之间的对应关系。

4 相机置于水体外小视场近似化

把水下图像等效为空气的图像时,不需要考虑视场角度的大小,当视场缩小时,可进一步分析水下成像点与空气中的成像点的关系模型。

4.1 忽略隔水玻璃厚度

忽略隔水玻璃厚度时,分析水下光线折射,可以得知测距时水下光线与空气光线存在一一对应关系,物距较大时,在实际水下测距中,均满足式(2)。水下成像的情况下,当视场较小时,函数值就近似为角度值,则式(2)就转换为

(23)

4.2 考虑隔水玻璃厚度

若考虑隔水玻璃的厚度。相机焦点处于隔水玻璃与水的交界处时,在小视场中,转换式(9)得:

(24)

分析式(7)得:

(25)

将式(23)代入(24)得:

(26)

焦点处于隔水玻璃与空气的交界处时,在小视场中,联立式(15)至式(17)得:

(27)

代入式(13)得

(28)

焦点处于隔水玻璃中时,在小视场中,联立式(21)与式(22)得:

(29)

(30)

把式(30)代入式(29)得

(31)

5 实验分析

本文搭建的水下平行双目测距实验平台如的水缸尺寸比例l×w×h为800 mm×50 mm×30 mm,隔水玻璃厚度为4 mm,水缸材质为亚克力板,折射率约为1.49。采用的相机为高帧率USB3.0双目视觉相机,相机的焦距为3.41 mm,像素尺寸为3.75 μm。由于本实验平台隔水玻璃厚度相对较大,不能忽略,需要利用考虑隔水玻璃厚度的水下光线折射模型进行水下测距。

水下平行双目测距实验平台中,把相机尽可能地贴近隔水玻璃。由于相机焦点所处的具体位置未知,则需要考虑多种模型。

本文将利用水下二次折射模型,把水下图像等效为对应的空气图像测距,利用小视场满足线性变化关系,采用等效焦距的算法进行水下测距实验。水下测距实验平台见图10。

图10 前向映射原理图

本文的水下平行双目测距流程如下。

1)在水缸中,双目相机由远到近分别贴有标签1～3,利用型号为DL4168的得力激光测距仪进行测距,得出标签间隔均为202.500 mm。

2)利用水下光线折射模型,把水下图像等效为对应的空气图像,然后进行标定、测距,求解对应的标签间距。再利用小视场中对应的等效模型,把折射影响等效为焦距的变化,求解相机内外参数,进行水下测距,求解标签间距。

3)分析2种水下折射处理算法测距实验,进行对比、分析。

5.1 等效空气图像水下测距

在平行双目视觉成像中,陆上光线传播路径为空气→相机;水下传播路径为水→隔水玻璃→空气→相机。若把同一物点对应的水下成像点等效为空气介质成像点,在理想情况下,相机标定的内外参数应与空气介质一样。

先假设相机焦点置于隔水玻璃与水、隔水玻璃与空气的交界处,利用对应的水下二次折射对水下图像进行等效。利用折射模型等效后,像点都为非整数,需要进行灰度插值运算。

灰度插值主要包括前向映射和后向映射。前向映射原理图如图11所示。假设输入图像的某一整数坐标为(x,y),变换到输出图像上的非整数坐标为(x′,y′),输入图像坐标(x,y)上的像素值就会按权重分配到输出图像坐标(x′,y′)的4个邻近位置。输出图像上的整数坐标位置,是由输入图像的很多个像素值分配而叠加,最终形成输出图像整数坐标上的像素值。

图11 前向映射原理图

前向映射中,某一点的像素值需要遍历输入图像的所有像素值,才能得到输出图像各像素点的像素值。所以算法复杂度较大,运行速度也相对较慢。

后向映射不同于前向映射,原理图如图12所示。取输出图像上整数点坐标为(x′,y′),假设在变换前,输入图像上的坐标为(x,y),一般来说坐标(x,y)是个非整数点。利用其周围整数点坐标(x′,y′)的输入图像像素值进行插值,就得到了该点的像素值。后向映射相对前向映射来讲,则是遍历输出对象,经过坐标变换到对应输入图像的像素点,速度优于前向映射。

图12 后向映射原理图

因此,本文将采用后向映射的算法进行灰度插值运算。灰度插值采用双线性插值,相比最邻近插值精度较高,相比三次插值更简单。

双线性插值原理图如图13所示。当输出图像的整数坐标(x′,y′)对应到输入图像的像素值为f(x,y),则f(x,y)由输入图像上4点像素值叠加而成。即:

图13 双线性内插值原理图

f(x,y)=(1-x)(1-y)×f(0,0)+(1-x)y

×f(0,1)+x(1-y)×f(1,0)+xy×f(1,1)

(32)

因此,对水下图像进行处理时,先假设本实验平台的双目相机焦点置于隔水玻璃与水的交界处、隔水玻璃与空气交界处,套用对应的水下折射模型,对水下图像进行等效。效果如图14所示。

(a)水下图像

把水下图像等效为空气图像。相对于水下图像,水中成像的物距缩短,有效焦距增大,水中的视场角减少。分析等效的空气图像,无法判定相机焦点所处的位置。针对2种假设情况,求解出如表1所示的相机标定参数值。

表1 相机焦点定于不同位置的参数值

由表1可得,引入隔水玻璃厚度,焦点定于隔水玻璃与水交界处,相机参数过大;焦点定于隔水玻璃与空气交界处,相机参数过小。因此,本文的相机焦点处于隔水玻璃中,建立目标函数:

z=[(|flax-flwx|2+|flay-fwy|2

+(|frax-frwx|2+|fray-frwy|2]

(33)

式中:flax、flay,flwx、flwy分别为左相机在空气、水中对应的横、纵有效焦距;frax、fray,frwx、frwy分别为右相机在空气、水中对应的横、纵有效焦距。

套用相机焦点在隔水玻璃中的水下折射模型。解算过程如下:

1)先求解Δd=0时的相机有效焦距值。将其代入目标函数z中,并把z赋值给zmin。

2)Δd=0时,依次增加步长0.01,采用对应式(21)、式(22)求相机参数,解z值,使zmin>z。满足条件时,就把z赋值给zmin,直到Δd=0等于4 mm。

3)迭代出最后的zmin,反解对应的Δd=0值。

采用上述步骤,求解到本实验平台的相机焦距置于隔水玻璃与空气交界处之上0.96 mm。图15为标签3水下原图。将水下图像对应的左、右相机像素点坐标等效到空气图像坐标如表2所示,等效后的图像(标签3为例)如图16所示。

表2 水下图像等效空气图像的像素坐标对应表

图15 标签3水下原图

图16 标签3等效的空气图像

把水下图像等效为空气图像后,水下成像点就对应到陆上成像点中,可适用陆上的相机标定、测距模型。对等效之后的双目相机图像再次进行标定,求解的左右相机内、外参数分别对应,如表3所示。

表3 双目相机焦距值

接着进行水下测距实验。为保证标签测距的准确性,在对标签进行测距时,取多组测距实验均值作为一组标签的测距值。

水下图像等效为空气图像进行测距(见表4),标签1、标签2、标签3对应的测距均值分别为311.996 mm、513.652 mm、716.796 mm。则对应的标签1、标签2间距为201.656 mm,标签2、标签3间距为203.144 mm,实际标签之间的间隔均为202.500 mm,则对应的标签1、标签2和标签2、标签3的测距误差分别为

表4 等效空气图像测距值 mm

(34)

(35)

水下图像等效空气图像后,求解出来的标签1、标签2和标签2、标签3间距误差分别为0.42%和0.32%,平均误差为0.37%,在可接受范围内。在实验误差允许的范围内,采用把水下图像等效为空气图像的算法进行水下测距是切合实际的。

5.2 等效有效焦距水下测距

采用等效转换的算法进行水下测距。由水下折射模型得到小视场中线性变化的关系,可以等效到焦距的改变。在本文考虑隔水玻璃的厚度的情况下,其中:f=3.41;Δd=0.96;nglass=1.49;T=4。代入式(31)有

(36)

将此放大倍数等效到对应的有效焦距上,则此模型的等效焦距是等效为空气图像中的相机焦距值的1.475 5倍,如表5所示。

等效焦距法在小视场测距中成立,采取同上的进行水下测距,同样取目标物上的8组数据,用间隔做差法来判断测距的效果。在实际测距的过程中,尽可能选择小视场中的参数值,建立如表6所示的测距值。

标签1、标签2、标签3对应的测距均值分别为331.117 mm、525.792 mm、720.870 mm,则对应的标签1、标签2间距为194.675 mm、标签2、标签3间距为195.078 mm。而实际标签之间的间隔均为202.500 mm,则等效焦距法下对应标签1、标签2和标签2、标签3的测距误差分别为

(37)

(38)

仅从间隔误差分析,等效焦距法测距的平均误差为3.77%,在允许的范围内,测距结果成立。其相比等效空气图像法的误差要大,说明等效空气图像法更优于等效焦距法。在本平台的测距过程中,水缸长度不够,而等效焦距法需要物距较大才适用,这使得等效空气图像效果优于等效焦距法。

如图17所示,等效焦距法测距时,当物距较大时,测距值逐渐趋于重合,与等效空气图像法测距相同。若实验平台处于理想情况下,等效空气图像法和等效焦距法均可作为水下测距的选择。其次,等效焦距法还受视场的影响,同一目标物,距离越远,在相机中呈现的视场就越小,反之就越大。针对同一目标物测距,物距越大,越容易满足小视场条件,反之则不容易满足。

综上,物距越大,越容易满足等效焦距法成立的条件。在实际运用中,其等效焦距条件很容易满足。在本平台的实验中,只能近似满足等效焦距法的条件,这使得等效空气图像法则不需要条件限制,因此在本实验平台更优于等效焦距法。

6 结论

本文从相机置于水体外,以及水体中出发进行分析。相机置于水体中时,光线进入相机之前的路径一样,由于相机标定测距模型,在透视变换过程本身就是非线性变换,则该情况可以直接套用陆上模型。相机置于水体中时,需要分析是否考虑隔水玻璃的厚度。若隔水玻璃厚度很小,或玻璃介质与水介质折射率一样时,可直接忽略不计,从相机焦点所处的位置即可建立对应的水下折射模型。若隔水玻璃厚度较大,或玻璃介质与水介质折射率不相等时,则须建立二次折射模型,对相机焦点所处位置情况进行分析,同样建立出对应的水下二次折射模型。

在小视场中对模型进行了近似化,水下与陆上成像点存在线性对应关系。本文实验平台需要考虑隔水玻璃厚度,利用把水下图像等效为空气图像的算法进行水下测距实验。同时也利用线性对应关系的算法,把水下折射影响等效到有效焦距的变化,在小视场中进行测距实验。实验结果表明,测距误差在可接受范围内,等效空气图像和等效有效焦距的算法均可解决水下平行双目视觉成像。