光电系统信息融合技术研究

徐书文

（中国电子科技集团公司第三研究所，北京 100015）

0 引 言

对导弹、飞机、舰船等重点目标进行快速、精确的探测、拦截和打击，是武器系统的主要任务。武器系统的主要探测手段是雷达。雷达利用电磁波的发射和接收来实现对目标的探测，是一种主动式探测方式，具有作用距离远、可以全天候工作的特点，但隐蔽性较差。光电系统可以将目标发出的光和热转化为电信号，并从电信号中提取感兴趣的目标信息，从而实现对感兴趣目标的探测。光电系统是被动式探测手段。与雷达相比，光电探测的优点是隐蔽性好、探测精度高、直观、体积小、重量轻，不受电磁干扰影响，缺点是易受雨雾影响。此外，针对低空和超低空目标的探测，雷达有多路径效应（雷达盲区），而光电系统没有多路径效应。另外，光电系统可以提供实时的图像信息，使人们的视觉得以延伸，可以更好地获取决策信息。因此，在现役武器系统中，光电系统也是重要的组成设备之一，是雷达探测的重要补充手段，被广泛应用于侦察、监视、火控、预警、靶场测量等军事和军民融合领域。光电系统适装的平台有舰载、车载、陆基（岸基）、机载、弹载、星载等，其中弹载和星载为特殊应用环境适装平台，与其他平台的适装布局差异较大，要求更苛刻。本文主要针对舰载、车载、陆基、机载平台应用的光电系统信息融合问题进行探讨，主要因为这4种应用平台上光电跟踪系统的组成布局基本相同，且应用最广泛。

1 光电系统的基本组成及工作原理

1.1 光电系统的基本组成

光电跟踪系统主要由光电指向器、信息控制及配电单元3部分组成，如图1所示。光电指向器一般由红外热象仪、可见光摄像机、激光测距机及伺服转台组成，信息控制部分由伺服控制、图像处理及综合处理单元组成，配电单元提供系统所需的各种类型的直流、交流电源。在实际应用中，指向器独立安装在舱外（舰载、车载、陆基）或凸出（机载）平台载体的位置，以避免被遮挡；信息控制和配电单元一起安装在舱内，主要采用标准机柜或分离电子箱结构，根据舱内空间进行布设[1]。

图1 光电系统基本组成

舱外指向器的结构形式主要有U型（包括倒U型）和T型结构，如图2所示。U型和T型指向器主要适装于舰载、车载及陆基平台，吊舱型指向器（倒U型）适装于机载平台。U型指向器一般适用于有效载荷较小的光电系统，其红外热象仪、可见光摄像机、激光测距机安装在同一个球舱里，球舱的回转半径一般不超过500 mm，红外热象仪、可见光摄像机及激光测距机安装在靠近球舱中心的位置，各光轴距离很近且相互平行，可以保证对目标信息获取的空间配准，而且空间配准精度高[2]。T型指向器一般应用于有效载荷较大的光电系统，其红外热象仪和可见光摄像机分别安装在T型结构的两边，光轴间距大，空间配准精度相对于U型指向器低。因此，图像融合更适合应用于U型指向器光电系统。

图2 常用指向器结构形式

1.2 系统工作原理

可见光摄像机利用目标的光辐射成像，红外热象仪利用目标的热辐射成像，激光测距机可以对瞄准的目标进行测距。可见光摄像机、红外热象仪及激光测距机安装在伺服转台上，经过光轴标校，各光轴指向保持一致。当伺服转台转动时，3个传感器可以随着伺服转台在俯仰和方位方向转动。图像处理单元主要完成从红外热象仪、可见光摄像机获取的视频图像（视场）中实时提取出感兴趣的目标，并计算出感兴趣目标相对于视场中心的角偏差。伺服控制单元利用角偏差控制伺服平台向减小或消除角偏差的方向转动，使光学瞄准线始终瞄准目标，实现对空间目标的闭环跟踪。在闭环跟踪过程中，激光测距机可以持续对被跟踪的目标进行测距，获得目标相对于光电系统（观测点）的距离。综合处理单元根据角偏差、伺服转台驾位信息、目标距离信息和适装平台地理信息（如捷联信息等）可以计算出目标在大地坐标系中的三维地理信息，并将该信息送往武器控制系统用于对目标的拦截和打击；综合处理单元产生系统工作所需的各种控制指令，如捕获/释放、方位搜索、俯仰搜索等控制指令，同时还实时显示红外热象仪、可见光摄像机摄取的视频图像；综合处理单元还根据解算出来的目标运动地理信息，建立目标运动轨迹和态势显示图形，操作手或指挥员根据视频图像、态势显示判断目标运动的威胁性。配电单元将外部输入的220 V 50 Hz（或220 V 400 Hz）交流电源通过AC-DC、DC-DC模块的电源转换，提供光电系统内部设备所需各种类型电源[3]。

2 光电系统信息融合技术应用分析

信息融合一般分为像素级图像融合、特征级融合及决策级融合3个层次。像素级图像融合主要利用异构来源图像信息的互补特性，通过像素的时空配准，再利用算法对像素灰度进行有机结合，形成信息更丰富的融合图像，更易于人类观察和识别感兴趣图像区域。像素级图像融合主要应用于遥感图像和图片的复合、图像分析及理解方面。特征级信息融合是将异构来源图像中提取的目标特征进行互补处理，既可以增加目标强度，也可以增加目标特征维度，弥补单一来源图像中特征遗漏（未检测到）的不足，丰富目标的特征信息，有利于对目标的识别和抗干扰。决策级融合是指对异构来源的决策信息（如光电、雷达等）进行有机结合，增强决策信息的鲁棒性，提高决策信息的可靠性[4]。

一般来说，融合方法越复杂，有效性越高，但计算量也越大，实时性越差。融合方法越简单，有效性越低，但计算量也越小，实时性越好。因此实际应用时不仅要考虑融合方法的有效性，还要考虑融合方法的实时性。像素级融合对异构来源的图像按照图像的像素数逐一进行融合算法的处理，是计算量最大的融合方法，特别是当图像尺寸和分辨率增加时，计算量也会成倍增加。特征融合方法是对异构来源的目标特征（如目标的宽、高、位置、速度、距离等）进行融合处理，计算量只与感兴趣的目标数量有关，目标越多，计算量越大，目标越少，计算量就越小，一般不随图像尺寸增大而增大。由于在一幅图像中，目标的数量远远小于像素的数量，因此，特征融合的计算量远远小于像素级图像融合的计算量。决策级融合是对异构来源的决策信息进行融合处理，决策信息是通过对大量的目标特征进行提取、识别、分析后获得的最终结果，每一个系统来源的最终（决定动作）决策只有一个，因此，决策融合的计算量比特征融合的计算量更小。因此，在实际应用中，应根据系统实时性的要求，选择满足实时性要求的融合方法，才能充分发挥信息融合的有 效性[5]。

早期的光电系统只有可见光摄像机，随着红外技术的发展，红外热象仪得到了广泛应用。目前常规的光电系统一般都配有可见光摄像机、红外热象仪以及激光传测距机，主要用于对目标的搜索、跟踪及监视。激光测距机提供目标的距离特征信息，可见光摄像机、红外热象仪同时提供光辐射和热辐射的成像信息，但系统对成像信息进行处理时，只对一个被选择的图像通道进行目标的特征提取、识别和决策，即对红外和可见光2选1之后的图像通道进行处理，也称作单通道信号处理方案，如图3所示。虽然单通道信号处理方案可以降低对图像处理电路的要求，降低设备成本，然而始终有一个通道的图像信息处于闲置状态，图像信息被浪费掉了。此外，当有一个通道没有检测到目标，而另一个通道可以检测到目标时，仍会有“没有目标”的“决策”输出，需要由人工切换通道，选择可以检测到目标的通道进行工作。因此，在单通道信号处理方案中，上述3种融合方法都没有应用。有的系统在决策过程采用了算法融合方法，如质心跟踪和相关跟踪算法的融合，但是收效甚微。传统的光电系统主要采用单通道信号处理方案，图像信息没有被充分利用，人工干预环节多，智能化程度很低。

图3 单通道信号处理方案

随着信息融合技术的发展和广泛应用，新型光电系统也在逐步采用信息融合技术以提高装备的性能。目前新型光电系统基本都采用至少由可见光摄像机和红外热象仪两个成像通道组成的传感器方案，而且，可见光摄像机和红外热象仪在系统安装时进行了光轴标校，保证红外热象仪和可见光摄像机的光轴一致性，即在空间上是配准的。此外，可见光摄像机和红外热象仪都接受系统同步信号，因此在时间上也是对准的。对于这种可见光摄像机和红外热象仪并存，并且图像在时空都是配准的光电系统，从理论上来说，3种融合方式都可以实现。

可见光摄像机利用物体的光辐射成像，红外热象仪利用物体的热辐射成像，经常出现可见光摄像机看得见目标而红外热象仪看不见目标，或者红外热象仪看得见目标而可见光摄像机看不见目标的情况。一般在能见度良好（≥15 km）的情况下，可见光摄像机作用距离比红外热象仪远，但在夜晚、黄昏及雾天情况下，可见光摄像机看不见或看不清时，红外热象仪却能看得见、看得清，因此，红外和可见光成像信息具有互补特性，具备像素级图像融合条件，光电系统图像融合方案如图4所示。

图4 光电系统像素级融合方案

在图4中，可见光和红外图像先进行像素级融合，形成成像信息互补的融合图像，在融合图像中进行目标的特征提取、识别和决策，可以大大提高光电系统的作用距离、目标识别能力和自主决策能力。然而在工程实现过程中，由于可见光分辨率高于红外分辨率，而且两者探测器像元尺寸也不一样，采用的光学镜头的视场角也不一样，因此，要保证像素配准，需要进行比例调整。例如，对于PAL制模拟视频，一般可见光分辨率采用512×512分辨率，红外为320×256分辨率。对于目前常用的数字视频，可见光分辨率可以从1k×1k到5k×4k，而红外只能到640×512。这种比例变换不仅会带来像素级误差，而且信号处理的复杂度也大大增加。此外，通过光学设计可以保证红外和可见光视场大小一致，加工和装配带来的配准误差也有几个像素，通过像素级移动可以基本消除，能满足像素级融合条件。但是对于批量生产而言，光学结构精密加工以及精密装配保证每一套产品都满足像素级融合的条件，时间成本和材料成本都很高。由于实时性和时空配准精度要求高，目前光电系统一般很少采用像素级融合方法，只有在特殊情况下采用像素级融合提供用于观察的图像。

光电系统特征级融合方案分别在可见光和红外图像中进行目标的特征提取，再进行特征融合，之后进行目标的识别和决策，如图5所示。采用特征融合的方法，可以利用目标特征的互补性提高对目标的识别和抗干扰能力，同时不需要人工切换通道，也提高了光电系统的智能化程度。光电系统的特征融合相对于像素级的图像融合而言，运算量大幅减少，实时性提高，并且对光学系统加工、结构加工和装配的精度要求也大大降低，工程实现更容易，但是特征融合需要两套特征提取电路，即硬件电路复杂一些。

光电系统决策级融合方案是系统分别对红外、可见光图像进行特征提取、识别和决策，之后再对两个通道的决策信息进行融合处理，输出最终决策，如图6所示。从图6可以看出，光电系统决策级融合采用的是双通道并行信号处理方案，当两个通道都检测到“有目标”决策时，利用视场中目标的位置信息进行加权输出位置决策，或者取离视场中心最近的位置为输出决策；当一个通道检测到目标“有目标”而另一个通道检测“无目标”时，也会有“有目标”决策输出；当两个通道都输出“没有目标”的决策时，系统才输出“没有目标”的决策。光电系统采用双通道信号处理方案时，两个通道的信息都得到了利用，没有浪费图像通道信息资源。尽管图像信号处理的电路成本比特征融合方案（图5方案）硬件成本高，但工作通道的选择不需要人工干预，而是自主决策，提高了系统的智能化 程度。

图6 光电系统决策级融合方案

近年来集成电路技术发展迅猛，硬件大容量、小型化、通用化、低成本，使得硬件电路的体积和费用已经不再是关注的主要问题。与此同时，随着硬件运算速度的提升，深度学习、大数据、边缘计算等技术的发展，为信息融合技术在光电系统中的应用和光电系统智能化水平的提升提供了更好的手段。

3 光电系统信息融合技术发展与思考

导弹、飞机等目标速度的提高，对光电系统的实时性提出了更高的要求，同时低小慢目标威胁性的增加，对目标的分辨能力和识别能力的要求也在不断提高。硬件的小型化、通用化、功能的不断强大以及算法的不断优化，为实时性、分辨能力和识别能力的提高提供了坚实的基础。此外，高分辨率、多波段光学传感器也在快速地发展，光电系统仍然是光电探测系统的重要组成设备之一，会被更广泛地应用于侦察、火控、制导、预警、靶场测量、重点区域防护等领域。信息融合技术在光电系统中的深度应用可以大大提高对目标的识别和探测能力，提高系统的智能化程度，这对提升武器系统的防御和打击能力非常重要。因此，信息融合技术在光电系统中的深度应用研究仍是当今及未来五年研究的热点，主要应用趋势分析如下。

3.1 像素级融合

像素级融合是精度最高的融合方案，它可以优化图像原始信息，从图像信息源上解决一个通道“看得见目标”而另一个通道“看不见目标”的问题，有利于提高对目标的发现、特征提取、识别和自主决策能力，而且信号处理只采用一路硬件电路，可以大大降低成本，减小体积。然而，实现像素级融合，必须在保证高精度像素级时空配准技术获得突破才有可能在工程上获得真正的应用，目前短时间内实时性好的高精度像素级时空配准技术难以有大的突破，因此研究仍然会停留在理论研究阶段。

3.2 特征级融合

特征级融合只须对可见光和红外通道分别提取特征，进行特征级的时空配准和特征融合，不要求像素级的时空配准，降低了对光学、机械结构精密加工和装配精度的要求，工程实现更容易，而且特征融合精度比决策级融合精度高。光电系统特征级融合不仅可以有效解决一个通道“看得见目标”而另一个通道“看不见目标”的问题，融合后的目标特征（如目标形状、灰度等特征）还可以大大提高对目标的识别能力和抗干扰能力，便于深度学习技术在光电系统中的应用。随着硬件电路的小型化、低成本化以及计算功能的强大，可以支持更复杂、更大计算量的算法实时实现，使得特征融合技术将在光电系统中得到广泛的应用。

3.3 决策级融合

决策级融合在光电系统中应用方法简单，易实现，因为决策的信息量不需要空间配准，一般只需要在时间上配准就可以了。尽管决策级融合也能有效解决一个通道“看得见目标”而另一个通道“看不见目标”的自主决策问题，但是在目标识别方面只取决于单通道的能力，因此，决策的置信度比特征级融合方法要低。此外，由于没有目标的形状、灰度等重要特征信息，不能对目标进行深度学习，识别能力难有大的提高。

4 结 语

未来光电系统在高实时性、高精度像素级时空配准技术没有大的突破之前，高实时性的特征级融合方法会成为光电系统信息融合的主要方法，结合深度学习技术，可以使光电系统在目标识别和决策能力的智能程度方面取得大的突破，使光电系统更“智慧”，满足实战的需要。