非合作目标智能感知技术研究进展与展望

牟金震，郝晓龙，朱文山，李爽

1. 南京航空航天大学 航天学院，南京 211106 2. 上海市空间智能控制技术重点实验室，上海 201109 3. 北京跟踪与通信技术研究所，北京 100094

1 引言

尽管航天器采取了多种保护措施，但在真空、失重、高低温和强辐射环境下长时间工作，仍然会发生故障。这些故障给航天器带来了巨大的经济损失。在轨服务技术可以为故障失效、燃料耗尽或者模块更换的卫星、空间站和空间运载器等空间目标提供在轨维修服务，其通过服务航天器平台携带的机械臂系统、视觉系统与捕获系统完成在轨装配、捕获、维修、燃料加注等操控任务，可有效延长服务对象的使用寿命。传统在轨服务技术由地面人员遥操作协助完成交会对接，存在智能化水平低、适应差等问题。中国科技创新2030重大专项对在轨服务技术提出了更高的要求，以满足空间无人操控任务的需求。因此，开展智能在轨服务技术的研究，有助于提高空间操控平台的智能化水平[1]。

在轨服务任务中，服务航天器与服务对象到达交会对接距离后，利用服务航天器携带的感知系统完成对目标的位姿信息测量、关键部组件三维重构、关键部位识别等精细化感知。然而在轨服务对象中，由于对象先验信息无法获取，此时成为非合作目标。因此，非合作目标的智能感知成为近年来航天在轨操控领域的研究热点，受到各国的广泛关注和重视[2-3]。目前，面向在轨演示验证，非合作目标智能感知仍存在诸多难点，如小样本、多模态、模型适应与高维数据。

非合作目标感知不仅应用于在轨服务，还可以应用于小行星着陆等领域。针对目标结构已知或部分已知的非合作目标感知，国外研究机构预计2021年底前完成部分关键技术的在轨测试，如日本宇宙尺度公司(Astroscale)于2021年8月完成非合作卫星在轨捕获技术验证，考核了核心相机、可视化技术和感知算法软件等。试验中，非合作卫星偏离一小段距离后(约10 cm)，服务卫星点燃了推力器并捕获非合作卫星。不过，这已足以验证后续非合作在轨感知试验所需的关键技术。考虑到非合作目标智能感知的重要意义，有必要分析梳理非合作目标智能感知涉及到的关键技术，总结目前存在的主要问题并给出后续发展的建议。

2 非合作目标感知系统

2.1 典型的非合作目标感知系统

前端机器人技术验证项目(front-end robotics enabling near-tear demonstration，FREND)利用服务航天器末端的机械臂抓捕目标的星箭对接环等部位。机械臂感知系统由3个自带照明系统且互为备份的相机组成[5]。美国DARPA的凤凰计划(Phoenix)的机械臂末端感知系统由3条机械臂组成，其中有1条为柔性机械臂，2条FREND机械臂。相机系统依然采用自带照明且互为备份的3目相机系统。单目相机为MDA(MacDonald，Dettwiler and Associates)相机。2019年公开的数据显示，当空间光照环境导致其中1个相机成像不理想时则利用剩余的2个相机组成双目立体视觉系统继续完成对非合作目标的位姿测量，当3个相机均能正常工作时则通过信息叠加融合提高位姿测量精度。

德国于2017年开始规划在轨服务项目(Deutsche orbitale servicing，DEOS)。该项目主要对LEO上翻滚、失控非合作目标卫星进行抓捕演示验证，抓捕位置包括失效卫星的对接环、发动机喷管等，抓捕流程包括远距离跟踪、交会段位姿测量、操作距离闭合抓捕以及组合体离轨。机械臂末端执行器上安装立体视觉系统，即双目相机与光源的组合。由于DEOS项目综合验证在轨服务任务，其机械臂视觉系统必须满足狭小空间成像能力，因此相机视场设计为60°。

美国DARPA发起的地球同步轨道卫星机器人服务(robotics serving of geosynchronous satellites，RSGS)计划使用了FREND计划研发的两条机械臂，一条臂用来捕获和握紧非合作目标，另一条臂用于配合在轨修理操作。RSGS 计划的机械臂操作采用自主操作与遥操作两种方式，臂末端的感知系统包括照明系统、视觉相机系统和位姿计算系统。相机系统由3个单目相机组成，功能上实现狭小空间与复杂光照环境成像的互补。

欧洲航天局OLEV(orbital life extension vehicle)计划的目标是拖拽地球静止轨道上的故障非合作通信卫星到坟墓轨道。服务航天器的作用相当于一个空间拖船，其机械臂末端的抓捕对象为发动机喷管，视觉系统包括近距离立体视觉相机和照明系统。当服务航天器处于交会距离后，立体视觉相机捕获抓捕机构的图像后，在地面操作人员的引导下，OLEV逼近至离目标0.3m处。E.Deorbit计划属于欧洲航天局(ESA)清洁太空倡议，目的是清除体积较大的非合作目标，其机械臂末端的感知由两组互为配合的视觉系统组成。第一个视觉系统任务为监视，第二个视觉系统任务为人工遥操作[4-5]。

德国ESS(experimental servicing satellite)计划的目的是在轨维修故障非合作卫星，其机械臂抓捕对象为发动机喷管，通过机械臂的近距离操作将抓捕工具插入到指定位置，视觉感知系统由激光测距仪、双目相机以及位姿计算系统组成。Astroscale公司于2021年8月已完成了在轨目标捕获与清除技术的首项重要测试，释放并重新捉回了一颗小卫星。试验中，作为主星的“服务星”先是释放了个头很小的“客户星”，然后又利用一个磁性机构将其重新捉住，其末端感知系统包括视觉相机、可视化软件与捕获系统。整个试验充分验证了轨道保持与姿态稳定技术。

2.2 光学敏感器技术

考虑到复杂多变的操控任务环境，光学敏感器不仅实现目标状态感知，还需要克服由目标运动、观测条件和资源限制影响。非合作交会对接主要采用微波或者激光雷达测距，视觉相机辅助测角，近距离采用成像激光雷达和视觉相机解算相对姿态。成像雷达包括激光雷达和TOF(time of fight)相机两种方案。此外，针对远近兼顾的位姿测量问题，美国采用激光雷达和三角激光测量结合的方案设计Tridar(triangutation-lidar)敏感器。国际上，各个航天强国逐渐开始了非合作目标测量的敏感器技术方案的验证，依据测量理论设计了不同方案的测量敏感器与测量方案，虽然各有特点，但基本原理和测量流程基本一致，其中典型的方案为激光雷达为主视觉相机为辅。

如前所述，非合作目标感知任务以激光成像雷达和可见光相机为主。应用于非合作目标感知任务的可见光相机如表1所示[6-7]。目前，在研的激光雷达可用作非合作目标的感知任务如表2所示。由于单一敏感器的局限性，无法应对复杂多变的太空环境。将多种类传感器进行融合来弥补不足，从而扩展测量能力、提高测量精度，以满足智能化的非合作目标感知需求，其中多敏感器融合系统如表3所示。

表1 可见光相机

表2 激光雷达

表3 多敏感器融合感知系统

3 非合作目标位姿测量研究进展

3.1 基于目标先验信息的测量方法

根据先验信息的不同，非合作目标位姿测量技术大致分为以下3类：

第1类，已知目标航天器的结构信息，但目标航天器上没有标识信息。非合作目标位姿估计问题变为图像特征点的二维信息与三维结构信息匹配的PnP (perspective-n-point) 问题[8]。部分学者使用目标的边缘信息完成姿态测量[9]属于另外一个思路。此外，针对模型已知的非合作目标，还有另外一类求解方法，即建立目标各个姿态角度的图像数据库，通过图像计算的投影与数据库匹配来确定大致姿态，这类算法主要用于姿态的粗略估计[10]。

第2类，目标航天器上的部分特殊部组件信息已知。文献[11]根据航天器上普遍安装对接环这一特性，通过提取圆特征计算位姿的算法。文献[12-13]提出基于航天器最大外轮廓识别的目标位姿测量方法。文献[14]设计了单目结构光测量系统，选择非合作故障卫星上常见的局部矩形作为识别对象进行非合作位姿测量。文献[15]提出两个单目相机协作的位姿确定方法，选择非合作卫星矩形特征为识别标识，每个相机提供矩形的部分图像，融合后获取完整的特征。文献[16]将多个单目相机组成非共视场来应对超近距离位姿测量中的成像空间小、相机视场角受限问题。

第3类，完全未知的非合作航天器。现有的方法是先对目标进行重建，获得目标的模型信息，然后将位姿估计问题转换为特征点与模型匹配的问题，利用本质矩阵完成位姿初始化[17-18]。不使用配对的点信息，文献[19]提出一种基于水平和垂直特征线推导基本矩阵的算法。文献[20]对双目图像的边缘点进行亚像素定位并重建出边缘的三维点云，用ICP(iterative closest point)算法与ProE软件建立的卫星模型匹配，进而得到目标的位姿信息。文献[21]利用序列图像重建非合作目标模型，将非合作问题转为合作问题，进而解算出非合作目标的位姿参数。

3.2 基于传感器配置的位姿测量方法

根据使用的测量传感器的不同，非合作目标位姿测量方法分为以下5类：

第1类，基于单目视觉的位姿测量方法。文献[22]利用前景提取技术与基于水平集区域的姿态估计相结合，对单目图像进行位姿解算。使用SLAM (simultaneous location and mapping)方法[23, 33-34]对单目序列图像进行位姿求解，是目前的研究热点。

第2类，基于双目视觉的位姿测量方法。文献[24]基于立体视觉的完成非合作目标识别、位姿测量、服务机器人规划3个问题。位姿测量算法包括图像滤波、边缘检测、线提取、立体匹配和位姿计算等。最后，开发了三维仿真系统对该方法进行了评价。文献[25]基于立体视系统重建非合作微纳卫星的三维模型，之后基于特征匹配的方法对目标的相对姿态进行估计，最后开展地面试验测试该算法系统的精度。文献[26]基于双目视觉测量原理，利用扩展卡尔曼滤波方法对目标特征点进行跟踪观测，实现了对非合作航天器的位姿测量，最后搭建非合作目标位姿估计试验系统。

第3类，基于扫描式激光雷达的位姿测量方法。基于ICP匹配连续帧的2片三维点云是激光雷达测量非合作目标位姿的主流方法。文献[27]提出了一种粒子滤波方法，利用连续的深度数据流估计非合作目标的相对位姿和旋转速率。该方法避免了以往算法所遇到深度空洞和模糊问题，特别是在数据采集过程中使用扫描式激光雷达会导致运动失真问题。此外，与以往的试验相比，该方法利用更简单的传感器模式，仍然可以正确估计目标状态。通过仿真验证了该方法的有效性，并给出了结果。

第4类，基于无扫描三维激光成像的位姿测量方法。无扫描激光成像不需要对场景进行逐行扫描，这与扫描式激光成像有很大的不同。无扫描三维成像雷达利用飞行时间法，计算光束从传感器到目标点的飞行时间获得深度信息。通过一次性平行获取多点的深度值，可以实时获取目标的三维图像。文献[28]提出基于二维相机和三维相机融合的非合作目标位姿测量方法，将高分辨率二维图像信息与三维相机深度信息进行数据融合，获得高分辨率三维图像，高效准确地提取特征点信息，实现了对非合作目标的位姿测量。目前，无扫描三维激光成像技术应用于火星着陆项目、月球车避障、交会对接项目等非合作目标操控领域。

第5类，基于多传感器融合的位姿测量方法。目前，多传感器融合的主流方式有双目视觉与激光测距仪的融合、TOF相机与单目相机的融合以及TOF相机和立体视觉系统的融合[29-30, 41-42]。

3.3 依据目标旋转状态的测量方法

根据目标的翻滚运动，非合作目标位姿测量方法分为以下3类：

第1类，非合作单轴稳定慢旋目标。非合作目标绕其惯性主轴做慢旋运动(一般指旋转角速率小于5(°)/s)，处于一种稳定状态。SLAM方法可用于解决非合作慢旋目标位姿测量问题。SLAM中环境一般为是静止状态，相机在运动中恢复环境结果和实现自身定位，而非合作单轴慢旋目标位姿测量问题中，相机是静止的，目标是相对运动的，因此二者可以等效[31-32]。ORB(oriented FAST and rotated Brief)特征算法在多个尺度空间下对图像特征点进行提取，并且赋予旋转不变特性的描述子，基于ORB-SLAM方法的非合作慢旋目标位姿测量是目前的主流方案[33-34]。GCN-SLAM在ORB-SLAM基础上，使用深度学习提特征点和描述子，已成功应用于地面试验[35]。但是，基于ORB-SLAM的测量方案存在累积误差增大问题，部分学者引入位姿图优化[36]与闭环检测优化[37]对测量进过进行校正。

第2类，非合作单轴快旋目标。相比于慢旋目标，非合作单轴快旋目标(一般指旋转角速率大于5(°)/s)测量的困难之处在于特征提取困难与位姿递推过程中的粗大误差。针对特征提取困难，常见的有3种解决方法：一种解决思路是图像增强，如基于低照度图像增强[38]和基于图像超分辨[39]等方法实现了以20(°)/s旋转的非合作目标位姿测量；另一种解决思路是多特征提取方法[40]；最后一种是多传感器融合，如采用相机与惯导融合[41]或采用主被动相机融合[42]。针对粗大误差问题，常采用误差优化技术[43]。误差优化技术的核心问题可以归纳为两个方面：闭环检测与位姿优化。

第3类，非合作翻滚目标。非合作翻滚目标在空中一般处于自由翻滚状态，既绕自旋轴旋转也沿着进动轴旋转[44]。文献[45]直接使用深度传感器在一段时间内采集到包含有目标信息的连续深度图数据流，将深度图转化为三维点云，对于相邻两幅三维点云，直接采用ICP算法对其进行配准，估计所有相邻两幅点云之间的位姿。文献[46]提出一种基于激光雷达点模板匹配的位姿估计算法。离线阶段，对所有6自由度姿态进行采样，以生成足够的模板。 利用三维点云数据，将样本限制3-DoF姿态域内，利用点云数据的质心估计出航天器的位置。在线阶段，将激光雷达目标点构造成轮廓图像，与模板进行匹配。文献[47]通过试验验证非线性最小二乘方法对非合作目标的5种典型翻滚状态具有最优的鲁棒性。文献[48]研究基于雷达散射截面序列的非合作目标翻滚周期估计。文献[49]提出深度图像和已知的模板匹配的姿态估计方法，该方法利用闭环方式实现的ICP算法。

3.4 基于深度学习的位姿测量方法

基于深度学习的非合作目标位姿估计主要分为2类。

第1类，混合人工神经网络估计算法。文献[50]提出一种融合卷积神经网络的特征提取CEPPnP (efficient procrustes perspect-n-points)方法与扩展卡尔曼滤波的非合作目标位姿估计网络。文献[51]提出一种基于对偶向量四元数的混合人工神经网络估计算法。文献[52]提出一种神经网络增强卡尔曼滤波器(NNEKF)。NNEKF的主要创新之处是利用惯性特性的虚拟观测改进滤波器的性能。

第2类，改进深度模型的位姿估计算法。文献[53]在Google Inception Net模型的基础上设计非合作目标位姿估计网络。针对空间目标数据的小样本问题，使用3DMax软件构建目标的数据集。为了充分模拟空间光照环境，随机设置仿真环境的太阳光亮度，随机增加星空背景噪声以及对数据进行标准化等操作进行数据增强。文献[54]参考VGG和DenseNet网络设计一种双通道的神经网络，用于定位特征点在图像中对应的像素，并给出其对应的像素坐标，提出神经网络的剪枝方法，实现网络的轻量化。文献[55]针对空间非合作航天器姿态测量时受光照和地球背景影响大的问题，提出一种基于卷积神经网络的端到端姿态估计方法，主干网络采用AlexNet与ResNet。相较于仅采用回归方法进行姿态估计，此方法能够有效减小姿态估计平均绝对误差，标准差与最大误差。文献[56]针对空间光照的干扰和小样本问题，提出一种基于单目图像的位姿估计网络。用于训练网络的合成图像充分考虑了航天器在轨的噪声、光照等因素。此外，文献[57]提出SPN(spacecraft pose network)模型，该模型仅利用灰度图像训练网络。SPN模型包括3个分支，第1个分支利用检测器来检测输入图中目标的边界框，其他2个分支使用二维边界框内的区域来确定相对姿态。文献[58]首次使用半物理仿真平台制作非合作目标数据集。文献[59-60]基于预训练的深度模型实现了非合作航天器的6-DOF位姿估计。文献[61]利用现有的目标检测网络和关键点回归网络预测二维关键点坐标，并结合多视点三角剖分重建三维模型，采用非线性最小二乘法最小化二维—三维坐标，预测位置和姿态。

应用深度学习实现非合作目标的位姿估计，训练数据不足是必然会出现的问题。使用合成数据集难以完全模拟空间实际情况。此时位姿估计的准确率完全依赖于数据集本身提供的信息，当新的任务样本与数据集本身样本差异度过大时，准确率可能急剧下降。

4 非合作目标三维重建研究进展

4.1 基于稠密程度的重建方法

根据非合作目标重建模型的稠密程度，可以分为稀疏重建和稠密重建。

(1)稀疏重建

稀疏重建是通过相机的移动来构建目标的稀疏模型。首先输入非合作目标的多视角图像，检测每张图像中的特征点，并对特征点进行匹配，然后运用 SFM (Structure from Motion) 重构算法，恢复出相机的参数以及相机之间的相对位置关系及场景的稀疏点云。稀疏点云重建的一般流程为：首先检测特征点，匹配特征点，然后求解相机位姿初始值，接着利用光束平差法等优化相机位姿，最后通过相机参数、位姿参数及特征点重构场景结构[62]。特征点检测主要分为斑点和角点。斑点检测[63]主要包括LOG(Laplacian of Gaussian)，SIFT(scale invariant feature transform)和SURF(speeded up robust features)等。角点检测包括Harris角点、FAST(features from accelerated segment test)和ORB等。

(2)稠密重建

由于SFM用来做重建的点是由特征匹配提供的，导致匹配点稀疏，重建效果不好，所以需要MVS(multi view system)进行完善或者直接使用稠密点云重建。稠密点云重建目的是通过立体匹配等算法，计算图像的大部分或者全部像素的三维信息，并对其进行三维重建。与稀疏重建法相比，稠密重建获取的非合作目标的三维信息更加全面[64]。文献[65]提出一种基于序列图像的空间目标三维重建。文献[66]提出基于序列图像的三维重建方法，并可以提供翼板天线等部位的结构信息。文献[67]提出基于序列图像的空间非合作目标三维重建方法，但重建结果缺少目标表面纹理和局部结构特征关键。文献[68]分析线阵激光成像雷达的成像机制并模拟失效翻滚卫星的数据采集，提出一种翻滚目标建模方法。随着移动端传感器的不断集成，尤其是集成了3D深度相机，可直接采用几何关系得到点云数据，加快了稠密重建速度，可实现实时稠密重建[75-78]。

4.2 基于传感器配置的重建方法

根据传感器的配置，非合作目标三维重建可以分为基于主动、被动与主被动融合的非合作目标重建。

非合作目标主动视觉重建技术：主动视觉重建利用激光扫描法[69]、结构光法[70]与TOF技术[71]等光学敏感器扫描非合作目标的表面，利用获取的深度数据或点云数据重建非合作目标表面的三维结构。

非合作目标被动视觉的维重建技术：利用视觉传感器获取目标序列图像，进而基于多视图重建方法完成非合作目标三维重建。这种技术首先通过视觉传感器获取图像序列，然后提取特征信息，最后将特征点三角化为点云，从而重建出物体的三维结构模型。一般地，应用于非合作目标重建的被动视觉三维重建技术可以分为单目视觉[72]、双目视觉[73]和多目视觉[74]。

非合作目标主被动融合的重建技术：深度传感器与彩色传感器结合，可以实现空间髙分辨率的多维度数据采集。其中基于RGB-D相机的三维重建其实可以分为两种：一种是对于静态场景的三维重建，以KFusion[75]，Kintinuous[76]与ElasticFusion[77]为典型代表，一种是对于动态场景的三维重建，以DynamicFusion[78]为典型代表。

综上所述，随着在轨航天器采用多传感器组合的方式观测被测空间目标，获取目标数据的维度及数据量不断增加。由于数据量与数据维度的不断增加，难以从高维数据中提炼出能够表征空间目标特性的关键数据，不同维度的特征数据难以进行合理有效的融合[79]。

4.3 基于深度学习的目标重建

(1)深度学习与语义法

考虑到传统三维重建方法在空间应用的局限性，基于深度学习的三维重建技术逐渐被引入到非合作目标重建中来[80]。文献[81]提出非结构化多视点三维重建网络(MVSNet)。同时，文献[82]对原来的MVSNet进行优化，提出了R-MVSNet。文献[83]提出PointMVSNet神经网络框架，主要分为两大部分：第一部分首先将不同视角的图像输入到网络中，生成粗糙深度预测图，然后转换成粗糙点云；第二部分利用图像金字塔网络提取三维点云中每个点在各视角图像中的纹理特征，构建特征增强点云，然后利用点流模型迭代出精确而稠密的点云。文献[84]提出一种像素感知可见性的多视图网络 PVSNet，用于密集3D重建。文献[85]提出一种用于单视图和多视图3D重建的Pix2Vox++框架，使用编码器/解码器可以从单输入图像生成一个粗糙的3D体，然后引入多尺度上下文感知融合模块从粗糙3D体自适应重建目标模型。文献[86]提出SurfaceNet+网络，用于处理有系数MVS引起的“不完整”和“不准确”问题。该框架的核心优势在于，利用端到端神经网络解决多视立体视觉问题能够直接学习到图像一致性与其几何相关性。

(2)深度学习辅助几何的重建方法

文献[87]提出了一种从单目图像估计场景深度的双通道算法，先利用暗通道先验作为局部测度估计原始深度图，然后用亮通道修正原始深度图中误差，最后利用语义分割信息和补丁匹配标签传播来加强语义一致的几何先验。该方法不需要真实深度数据进行训练，使得该方法能够适应空间非合作目标场景。文献[88]提出GAN2shape模型，利用生成式对抗网络从图像中恢复目标的三维模型，其核心是利用一种迭代策略探索和利用GAN图像流中的各个视点和光照的变化，不需要2D关键点和3D注释，也不需要对对象形状的严格假设。

(3)单目深度估计法

单目相机是最简单的光学传感器，是大部分航天器上的标准装备。从单幅RGB图像中估计深度的方法也称单目深度估计方法，对非合作目标三维重建具有重要意义。监督/无监/半监督学习、基于随机条件场的方法、联合语义信息、基于辅助信息的深度估计[89]是基于深度学习的单目深度估计方法的热点。

监督学习：文献[90]提出一种在网络内高效学习特征映射上采样的新方法，引入残差学习的全卷积架构来建模单目图像和深度图之间的模糊映射，使用Huber损失函数优化整个网络，该方法经作者改进后融合到单目SLAM技术当中，可应用于非合作目标的单目位姿测量。文献[91]提出StructDepth采用两个额外的监督信息进行自监督训练[91]：曼哈顿法线约束和共面约束。

无监督学习：文献[92]提出一种神经架构搜索框架LiDNAS，用于生存轻量级单目深度估计模型。与以往的神经架构搜索不同，寻找优化网络的计算要求很高，引入新颖的Assisted Tabu Search 实现高效架构搜索。文献[93]提出通用场景单目深度估计无监督模型RealMonoDepth学习估计各种场景的真实深度，其包含相对深度和绝对深度损失函数。文献[94]提出DeFeatNet是一种同时学习跨域密集表征表示方法以及扭曲特征一致性的深度估计模型。

半监督学习：文献[95]将图像一致性的无监督框架和密集深度补全的有监督框架结合提出一种半监督框架FisNets。此外，文献[96]通过两阶段从单目图像中预测深度，以半监督的方式训练网络。

基于随机条件场的方法：文献[97]考虑到深度值的连续特性，将深度估计转化为连续条件随空场(CRF)学习问题，提出了一种融合深度CNN和连续CRF的网络。文献[98]提出一种融合了来自多个卷积神经网络输出的互补信息的深度模型。

联合语义信息：文献[99-100]提出了一种联合语义信息的深度估计网络结构，预先训练语义分割网络，通过像素自适应卷积来指导深度估计。此外，为克服语义信息的偏见性，使用两阶段的训练对动态对象通过重采样。

引入其他信息辅助深度估计：从单目场景恢复深度信息需要其他辅助信息，文献[101]针对单目深度估计的不精确对象及深度推断和尺度模糊问题，使用额外的Lidar并建立DNet，提出密集链接预测层和密集几何约束以应对这两个问题。文献[102]整合深度和曲面法线之间的几何关系，提出GeoNet网络预测单个图像的深度和曲面法向量，并利用残差模块提高了其质量，其中作者利用了平面区域表面法线变化不大的几何规律来辅助和优化单目深度估计。文献[103]使用Lidar单目相机估计密集深度图，网络模型由多级编码器/解码器组成。文献[104]将几何与PackNet结合，利用对称的packing 和unpacking模块共同学习使用3D卷积压缩和解压缩保留细节的表征形式。

5 非合作目标及部组件识别研究进展

5.1 基于深度学习的非合作识别方法

由于航天任务的特殊性，目前应用深度学习的方法识别非合作目标仍处于起始阶段，相关研究工作较少。文献[106]提出用于空间目标检测、分割和部组件识别的数据集。由于空间目标真实图像获取困难，公开的真实图像不多。为了丰富数据集，研究人员从真实图像和视频中收集了3 117张卫星和空间站的图像。在数据集注释过程中使用一种引导策略，以最大限度地减少标注工作。首先，在小尺度上进行手工标记样本标签。然后，利用标记数据训练一个分割模型以自动生成更多图像的粗标签。接着，通过交互式工具进行手工细化。最终，生成完整的数据集。数据集中，空间目标包括空间站和卫星。此外，还提供用基准数据集用于评估目标检测和实例分割算法的先进性。文献[107]提出用于空间目标识别的训练和测试图像的单一和混合数据增强方法，并提出基于数据增强的空间目标识别方法。其数据集的制作由STK(systems tool kit)通过一系列运动模糊和离焦模糊来模拟空间真实成像条件。文献[108]利用YOLO(you only look once)模型对卫星及其部件进行识别，采用两种卫星模型的三维模型图片集进行训练，测试了模型对不同视角、不同距离以及不同遮挡条件下的卫星及卫星部件的精度，结果显示模型准确率在90%以上，但没有考虑不同运动、不同光照、不同方位情况下卫星模型的识别。文献[109]提出将Mask R-CNN(mask region-based convolutional neural network)应用于空间卫星特征检测与识别问题，并借鉴R-FCN(region-based fully convolutional network)和Light-head R-CNN对其进行优化改进，以满足空间卫星识别任务实时性要求。但搭建虚拟环境与真实太空环境仍然存在较大的差异，也未考虑更加复杂的太空光照环境、复杂的章动和进动等运动。

文献[110]提出一种改进CenterMask网络用于识别卫星及部组件，但此模型训练时间长、模型内存大等原因不适合于资源受限的空间载荷部署，对于实际在轨应用仍然存在较大的差异。在卫星姿态和光照条件变化较大的情况下，文献[111]提出基于R-CNN(region-based convolutional neural network)的卫星部件检测算法。首先，在Mask R-CNN的基础上，结合DenseNet、ResNet和FPN构建新的特征提取结构，并通过提供密集的连接增强各层之间的特征传播。针对训练样本缺乏问题，模拟软件生成不同角度、不同轨道高度以及不同类型的卫星图像数据集。最后，在构建的数据集上测试识别模型精度。

综上所述，目前已有的工作大部分借助传统目标检测领域经典成熟的方法，大多不能满足实际在轨要求。用于模型训练的数据大多基于模拟数据集，难以完全模拟真实空间环境。训练完成的模型只能识别某一固定模态的卫星数据，无法满足大量容易获取的其他数据模态，也无法使用一个样本丰富的模态信息来辅助另一个小样本的模态进行学习。

5.2 基于多模态深度学习的目标识别

文献[112]依据真实的空间仿真环境，提出空间目标识别和分割的多模态图像数据集SPARK，数据集由深度图和彩色图组成，数量约1.5×105、目标类别11类。文献[113]提出基于本体多源信息融合的空间目标识别方法，并首次提出使用零样本分类技术实现新目标的自动识别。文献[114]将多传感器信息融合看成一种多元信息的融合处理技术，针对卫星识别问题的特征级融合阶段，提出神经网络组的方法，并应用到特征级融合对目标进行识别。文献[115]研究模糊信息的融合方法，包括基于模糊积分和模糊逻辑的特征层融合算法，针对空间目标小样本分类问题，在常用的模糊方法的基础上实现了基于模糊积分的特征层融合算法。文献[116]将红外和可见光图进行融合，并基于判断模型定义红外和可见光图进不可融合的条件，将融合后的图像应用于空间目标识别，提高复杂地球背景下识别的鲁棒性。多模态数据融合中，不同模态数据具有不同的数据分布，使用传统的“单源域→单目标域”融合方法将难以获得数据叠加效果。多模态交叉迁移下，样本标签并不能有效迁移，导致融合后的目标域存在较多的噪声干扰，降低了模型的跨域识别性能。

5.3 基于迁移深度学习的目标识别

已有的空间非合作目标识别模型基于特定任务和数据集训练各自孤立的模型，学习中并未保留任何可从一种模型迁移到另一种模型上的知识，而迁移学习利用先前训练模型中的特征，权重等知识训练新模型，解决识别任务中具有较少高质量数据的问题。在空间目标识别任务中，由于光照环境的改变、目标远近距离的变化、星空背景和地球背景的交替干扰等影响，导致地面试验条件下训练的模型无法迁移到空间环境，极易出现模型失效。迁移学习可以将地面条件下的模型知识，快速迁移到新的就环境中，它使模型在新的小样本环境中快速学习新的知识。因此，利用迁移学习和深度学习结合，将地面任务与空间任务之间迁移特征学习方法，解决空间任务的多域迁移问题[117]。

5.4 基于小样本学习的目标识别

参数微调、模型结构变迁、度量学习是小样本目标识别方的主流方法。目前直接应用小样本学习处理空间目标识别主要存在以下几方面的问题。首先，大部分模型部署后推理速度缓慢，大多不能满足空间处理实时要求。其次，模型结构的复杂度高，不满足星载资源受限的应用需求。半监督学习利用小样本标签指导大量为无标签数据学习，因此小样本学习可与半监督学习结合。此外，也可以先利用无监督学习在无标签数据训练模型，然后迁移到小样本数据中强化模型[118]。在非合作目标及部组件识别任务中，由于空间任务以及目标的改变，标注样本难以获得，即使获得样本也非常容易过时，但无标签的样本则相对容易获得。半监督学习为解决小样本学习问题打开一种新的局面。但是，面向在轨服务任务，当新的任务样本与数据集本身样本差异度过大时，识别准确率可能急剧下降。

6 非合作目标智能感知技术发展趋势

目前，非合作目标感知的部分关键技术已经得到了在轨验证。在深度学习的影响下，研究人员开始了智能感知技术的研究。然而，面向在轨应用，仍然存在较多的方向值得研究。下面提炼出非合作目标智能感知的一些亟待解决的问题， 并给出研究建议。

1)小样本图像生成：非合作目标在真实环境中的数据难以获取，而地面试验条件下产生的训练数据样本难以完全模拟空间实际情况。少样本生成旨在基于同一种类的少量图像， 生成该种类更多的图像，可以用来增广已有的训练数据，从而辅助图像分类等下游任务。

2)多星协同测量方式：传统的单星测量方式，对目标遮挡问题处理困难，不能对指定区域进行持续观测。随着空间操控任务的多样性、复杂性和精细化需求，传统的单星工作模式将无法满足要求。多星协同观测，特别是微纳星群协同感知技术，利用多星的协同配合完成对目标的多角度、全方位观测。

3)多传感器信息融合：多传感器协同或者多传感器数据融合的方法可以有效应对复杂多变的空间环境，实现功能的互补。如何剔除多传感器的冗余信息，提取有效特征为多传感器融合的关键。

4)多视角数据联合表征：多视角数据能让服务航天器更加全面地了解待观测的对象，因此对多视角数据进行表征学习具有重要研究意义。如何将每个视觉的特征进行融合，然后映射到低维空间表征多视角是未来一个值得研究的方向。

5)多特征融合表达：在获取的多视图信息中，寻找具有准确、全面描述目标特征信息和具有良好分类性能的图像目标特征以及如何提取这些特征就成为解决图像目标识别问题的关键。

6)空间目标的精细化感知：随着对非合作目标操控任务和需求越来越复杂，非合作目标感知也越来越精细。空间目标的精细化感知包括目标测量、目标识别、场景理解与目标重建。

7)变化场景下识别模型迁移与重用问题：深度神经网络模型的设计大多依赖其初始任务需求，对新任务的自适应性较差。因此需要开展面向多任务应用的航天器感知模型自适应机制研究，设计模型迁移机制对原有权值信息进行压缩，自动生成适应新任务的模型结构。

8)面向非合作目标感知的高维数据机器学习：智能感知算法存在 “维数灾难”和“过拟合”问题。此外，还面临高维小样本问题。因此，克服因高维数据带来的分类器的过拟合问题也是未来的研究方向；如何进一步改善高维空间的小样本学习的有效性和稳定性也是未来需要解决的关键问题。

7 结论

目前，各个航天强国陆续开展了非合作目标智能感知技术的在轨验证。传统的非合作目标感知技术在特定任务、特定操控对象以及特定的环境等具有局限性，尽管感知方法由单一测量方法发展为多手段协同的测量方法，仍不能满足智能化的需求，亟需将感知技术推向人工智能感知测量的新阶段。将人工智能技术引入到非合作目标感知领域，将使航天器具备感知、学习与决策能力，提高航天器对空间复杂任务自主适应的能力。考虑到非合作航天器智能感知的重要意义，有必要对非合作航天器智能感知技术进行深入系统地研究，针对其中的难点问题进行突破，从而提高中国空间操控平台的智能化水平。