深度迁移学习预训练对红外尾流成像识别的影响

钟 睿，杨 立，杜永成

深度迁移学习预训练对红外尾流成像识别的影响

钟 睿，杨 立，杜永成

（海军工程大学 动力工程学院，湖北 武汉 430033）

随着水下航行器噪声水平的不断降低，水下航行器形成的尾流红外成像特征就成为其主要可探测的特征源之一，利用水下航行器尾流的水面红外特征来探测水下航行器的踪迹逐渐发展成为一种新的探测方式。由于人工判别尾流特征的效率低，准确性不高，采用人工智能深度学习的方式能够得到较大的改善。本文以水下航行器尾流红外特征识别为研究核心，通过图像分类制作了混合类的样本集，利用迁移学习比较不同预训练网的对尾流的训练效果，讨论预训练网内部参数对尾流训练效果的影响，结合Faster-RCNN算法，最终测试对尾流的识别精度，在45个2类尾流的小样本集下，预训练之后的网络在识别准确度上增加了21.43%，误检率下降了2.14%，带有红外特征的图像在定位精准率上比可见光图像高18.18%。该预训练测试对未来研究尾流探测结合卷积神经网络的识别有一定的应用潜力。

红外特征；尾流；深度学习；迁移学习；faster-RCNN

0 引言

水下航行器航行形成的尾流特征明显，利用水下航行器尾流的水面红外特征来探测水下航行器的踪迹逐渐发展成为一种新的探测方式。由于水下航行器航行形成的尾流特征复杂，人工识别工作量大，识别准确率较低。采用深度学习的人工神经网络识别水下航行器尾流红外图像具有明显的优势。

人工神经网络[1]的起源可以追溯到20世纪40年代，在此期间经历了浅度学习和深度学习两个阶段。从学术角度来看，以1956年达特茅斯会议作为人工智能学科公认的起点，诞生了多个思想学派。但20世纪80年代以前，人工神经网络有很大的局限性，只能计算一些有限样本，且对目标进行分类的能力也很薄弱。在1986年之后，Rumelhart和McClelland[2]将反向传递神经网络算法运用于神经网络的训练，解决复杂目标函数的求导问题。目前，人工神经网络作为机器学习的重要分支，在领域内有不可或缺的作用。

作为深度网络的一种，卷积神经网络通过多层特征提取层[3]的叠加得到比较复杂的网络结构。Razavain等人[4]构建了更加深层的卷积神经网络（deep convolutional neural network，DCNN），用于对目标进行提取图像特征，再进行分类与识别，这比传统方法达成了更好的效果。2015年，David Rumelhart等人[5]合作提出了Faster-RCNN，它由一个区域生成网络（region proposal network，RPN）与Fast-RCNN共同构成。通过区域生成网络与Fast RCNN共享特征提取网络[6]以及位置精修的策略，进一步提高了目标检测的速度。

本文根据尾流红外特征图像自身的特点，结合Faster-RCNN进行定位和识别，在卷积神经网络理论的基础上，比较不同的预训练网的预训练效果，选取最优的预训练网AlexNet；讨论了预训练网参数对训练效果的影响；最终比较AlexNet预训练和无预训练的网络对尾流图像的识别效果。

1 红外尾流简介

红外是一种电磁波，它位于可见光的外端[7]。肉眼难以观察出尾流在红外图像与可见光图像中的区别，但对于神经网络而言，却可以抓住图像中的特点。

水下航行器热尾流的形成[8]有两个主要原因：一是水下航行器在温度梯度海中航行时对海洋温度场的扰动。二是水下航行器在水下航行时会放出大量的冷却水，冷却水在尾流中形成热尾流。在水下航行器刚刚通过的地方，由于热尾流，海水的温度与周围海水的温度有很大的不同，因此红外辐射也不同[9]。通过对尾流红外成像进行分析，可以识别出不同的水下航行物。图1(a)是红外探测仪下的潜望镜尾流，由于尾流引起的温度变化，呈现出开尔文形状，并随着尾流的延长，温度特征与海面背景的差异逐渐变小；图1(b)是可见光下的水面航行器尾流，尾迹较长，从远处看呈带有小波浪的平行线，与潜望镜尾流不同，它产生的尾流波浪较大。这些特征将作为尾流图像识别的主要提取内容，通过Faster-RCNN实现尾流图像的定位，2种类型的尾流图像将作为实验训练的样本集来识别。

2 深度迁移学习识别尾流

2.1 Faster-RCNN算法介绍

Faster-RCNN的基本结构[10]是由RPN与Fast-RCNN共享CNN 征提取网络构成。图2所示Faster-RCNN对尾流红外图像进行识别的过程。先输入图片表示为Height×Width×Depth的张量（多维数组）形式，经过预训练CNN模型的处理，得到卷积特征图（convolutional feature map），将CNN作为特征提取器，送入下一个部分。然后RPN对提取的卷积特征图进行处理。

本文在不改变Faster-RCNN的基本结构的前提下，运用Faster-RCNN来实现目标的检测。在对样本进行训练之前，人为的将收集到的尾流图片打入标签，过程中我们选择边界框来对区域进行选定识别，最终将作为训练样本集，相比于传统的整张图片导入，增强了一定的灵活性和识别精度。

通过Faster-RCNN算法对大量尾流图片进行训练、识别和定位，训练通常包含了4个过程：RPN的训练、用RPN训练Faster-RCNN、Faster-RCNN利用RPN共享权重和更新之后的RPN对Faster-RCNN进行再训练。最终得出较为满意的尾流红外特征识别定位网络。

图1 不同类型的尾流特征图像

图2 Faster-RCNN在识别红外尾流中的应用

2.2 基本网络

Faster-RCNN第一步是采用基于分类任务（如，ImageNet）的CNN模型作为特征提取器，并可视化中间层，查看其输出形式。Faster-RCNN最早是采用在ImageNet训练的ZF（Zeiler ＆Fergus Net）和VGG（visual geometry group），其后出现了很多其他权重不同的网络。在各种深度神经网络中，卷积神经网络[11]是最广泛应用的一种，收敛性能和识别精度较为优越。卷积神经网络由LeCun[12]在1989年提出，并且成功运用在手写字符图像的识别。2012年，AlexNet网络拥有更深层次，并且在分类任务中取得成功，此后卷积神经网络高速发展，被广泛用于各种领域。卷积网络的训练是通过反向传播训练得到的。反向传播算法的关键是计算误差项的值，根据该值计算损失函数对权重、偏置项的梯度值。本文将采用AlexNet作为预训练网络，开展红外尾流识别的迁移学习研究。AlexNet网络有5个卷积层，其中一部分后面接着max池化层；有3个全连接层；最后是softmax输出层，涵盖了1000个节点，对应1000个图像类。该网络在实现中没有采用传统的sigmoid或tanh函数作为激活函数，而是使用了新型的ReLU函数[13]：

其导函数为：

由于函数简单，在正向传播和反向传播时能够减少计算量，且该函数能够提高图片识别效果。

不同的基本网络之间有所差异。通常，基本网络的参数包含网络内部参数（训练轮数、训练学习率等）、验证时的Frequency和Patience等。选用合适的基本网络和相关参数，对结合Faster-RCNN算法识别尾流有重要影响。

3 结果与讨论

3.1 比较不同的预训练网络

预训练网的神经网络作为迁移学习的重要部分，那么选择合适的预训练网也变成了重要的问题。通过比较不同的预训练网，看训练效果如何。不同的神经网络的卷积层和池化层有很大区别，在保证相关参数不变的情况下，利用Matlab中神经网络训练功能，选择相同的小样本集（3类尾流，每类10张），按照80%训练、20%验证精度的比例来做对比，比较Google、VGG19、AlexNet三种基本网络对预训练的差异。

首先，固定好训练网络的参数。参数设置如图3(a)所示。针对3个不同的预训练网络，我们设置训练轮数为5，Frequency＝3，Patience＝5，保证参数不变进行实验。

从图3(b)可以看出，采用Google作为预训练网，训练速度较快，总共花费了5min 34s，但是精度最终只有83.33%，损失值最终也没有收敛。

从图3(c)可以看出，采用VGG19作为预训练网，在第一轮结束之后，精度就可以达到一个较高的数值，且在第二轮完成时已经可以稳定在100%，损失值也收敛为0，但花费时间较长，耗时61min 49s。

从图3(d)可以看出，采用AlexNet作为预训练网，在第二轮末端时刻我们的验证精度可以达到100%，总共花费了13min 13s，损失也逐渐降为0。

由表1对比可以得出以下结论：

1）Google网络在小样本容量训练过程中速度较快，但回归会出现不收敛的情形，导致最终训练精度达不到预期值。

2）VGG19网络的内部结构复杂，在小样本训练过程中，结果虽然可以达到理想的精度，但耗时较长。

3）AlexNet网络的最终训练精度可以达到预期值，耗时一般。

对比之下，AlexNet网络用于预训练网实验较为优越。

图3 Google、VGG19、AlexNet基本网络对比实验图

表1 3种基本网络对比结果

3.2 讨论网络参数对精度的影响

3.1中已经讨论了不同的预训练网的训练效果，确定了AlexNet网络可以在实验中达到效益最大化，下面在AlexNet网络的基础上，将讨论参数Frequency和Patience对训练网络的影响。以便于在大样本实验中，能够调整网络至最优解。

1）Frequency对预训练的影响

控制Patience＝5，训练轮数Epoch＝5，不改变系统神经网络的内部结构，其余参数不变，图4比较了Frequency从1～5的变化。

参考Frequency参数对AlexNet网络影响结果（详见表2），可以得出以下结论：

Frequency如果过小会导致训练提前结束，达不到预期的精度；Frequency过大或者过小都会延长训练时间，但对稳定性的影响较小。对于小样本的AlexNet预训练神经网络，Frequency在3或者4较为适宜。

图4 Frequency参数对AlexNet网络的影响实验

表2 Frequency参数对AlexNet网络影响结果

2）Patience对预训练的影响

控制Frequency＝4，训练轮数Epoch＝5，不改变系统神经网络的内部结构，其余参数不变，图5讨论了Patience在1、3、5、7时的变化。

参考Patience参数对AlexNet网络影响结果（详见表3），可以得出以下结论：

Patience的大小对训练的最终精度影响较小，对耗时影响也不明显；但Patience一旦过小也会导致训练提前终止；过大会导致训练的稳定度降低；在小样本的AlexNet预训练神经网络，控制Patience在3～5较为适宜。

图5 Patience参数对AlexNet网络影响实验

3.3 自定义网络与预训练网络比较

确立了AlexNet基本网络的相关参数之后，对其进行测试。为更能说明尾流识别精度结果，选取11层的自定义网络作为比较，这个自定义网络没有进行任何的预训练。实验分别选用了45个样本集、65个样本集、85个样本集对2类图像进行比较训练（其中潜望镜尾流为红外图像，舰船尾流为可见光图像）。训练过程中，带有预训练网的神经网络训练速度加快，接着对2种成型的网络用同样的测试集进行测试。参考图6，部分训练完成后的网络能够成功识别并定位出尾流图像。从图6可以看出，针对带有红外特征的尾流图像，定位范围能够更加精准。

针对不同的样本集实验进行实时监测，得到了自定义网络和AlexNet迁移学习之后的成型网络对尾流图像的判别结果，详见图7。

从图7(a)、(b)可以看出，45个小样本集下，用14个分成2类的样本去测试，AlexNet预训练的网络比自定义的网络漏检率（未检测到的目标占总目标的比例）低，误检率低，导致识别图像的准确度（Accuracy）更高，参考表4。通过进行AlexNet预训练之后，在精准率方面，采用红外图像比可见光图像的精准率高18.18%。

表3 Patience参数对AlexNet网络影响结果

图6 成型网络尾流识别与定位测试结果展示

图7 两类尾流测试集下不同样本的实时数据记录

从图7(c)、(d)可以看出，65个样本集下，用14个分成2类的样本去测试，增加了训练样本数量之后，自定义网络的漏检率大幅下降，准确度提升较明显，此时的自定义网络的综合性能接近于迁移学习网络，参考表5。

从图7(e)、(f)可以看出，85个样本集下，用14个分成2类的样本去测试，对于同样的测试集，在训练样本中增加区分度较小的2类尾流图像，训练过程因出现过拟合而造成干扰，导致精度有所下滑。但从误检率、精准率和召回率来看，AlexNet迁移学习网络受到的影响较小，说明AlexNet迁移学习网络的稳定性要比自定义网络好，且随着样本数量增加，精准率和召回率都有所提升，参考表6。针对AlexNet迁移学习网络，采用红外图像为正样本时比采用可见光图像在精准率方面高30%。

表4 45个样本集/14个测试集（2类）下的实验结果

表5 65个样本集/14个测试集下（2类）的实验结果

表6 85个样本集/14个测试集下（2类）的实验结果

4 结论

本文主要研究了深度迁移学习在尾流识别定位中的问题。通过结合Fast-RCNN算法，不同训练网络能够实现对红外尾流图像的识别和定位。而在众多预训练网络当中，AlexNet神经网络的优势明显；针对尾流小样本容量的训练，AlexNet神经网络作为尾流识别预训练网络的首选。它在训练精度、耗时、稳定性等综合方面的性能优势明显。随着样本容量增加，对未进行预训练的网络有一定的干扰能力，容易导致过拟合发生，而有预训练的网络呈现出的稳定性较高。在图像选择方面，识别尾流红外图像比可见光图像在精准率方面高。因此抓住尾流的红外特征，对判别尾流有较好的促进作用。通过实验比较了迁移学习的优势，对未来水下航行器红外尾流成像识别有广阔的应用前景。

[1] 王雨农. 基于视觉注意机制的神经网络模型研究及应用[D]. 合肥: 中国科学技术大学, 2017.

WANG Yunong. Research on Visual Attention Based Neural Network Model and its Application[D]. Hefei: University of Science and Technology of China, 2017.

[2] Rumelhart D, Mcclelland J. Learning internal representations by error propagation[M]//:, Massachusetts: MIT Press, 1986: 318-362.

[3] 尹勰, 闫磊. 基于深度卷积神经网络的图像目标检测[J]. 工业控制计算机, 2017, 30(4): 96-97.

YIN Xie, YAN Lei. Image target detection based on deep convolutional neural network [J]., 2017, 30(4): 96-97.

[4] Razavian A S, Azizpour H, Sullivan J, et al. CNN features off-the-shelf: an astounding baseline for recognition[C]//, 2014: 512-519.

[5] Zeiler M D, Fergus R.[M]//–, Springer International Publishing, 2014.

[6] 胡炎, 单子力, 高峰. 基于Faster-RCNN和多分辨率SAR的海上舰船目标检测[J]. 无线电工程, 2018, 48(2): 96-100.

HU Yan, SHAN Zili, GAO Feng. Ship target detection based on faster-RCNN and multi-resolution SAR[J]., 2018, 48(2): 96-100.

[7] 李新. 基于红外热像技术连铸板坯裂纹预报方法研究[D]. 唐山: 华北理工大学, 2015.

LI Xin. Research on Crack Prediction Method of Continuous Casting Slab Based on Infrared Thermography[D]. Tangshan : North China University of Technology, 2015.

[8] 张健, 杨立, 袁江涛. 水下航行器热尾流试验研究[J]. 实验流体力学, 2008, 22(3): 9-15.

ZHANG Jian, YANG Li, YUAN Jiangtao. Experimental study on thermal wake of underwater vehicles[J]., 2008, 22(3): 9-15.

[9] 贺林. 水喷淋消声器设计与实验研究[D]. 哈尔滨: 哈尔滨工程大学, 2006.

HE Lin. Design and Experimental Study of Water Spray Muffler[D]. Harbin : Harbin Engineering University, 2006.

[10] 伍伟明. 基于Faster R-CNN的目标检测算法的研究[D]. 广州: 华南理工大学, 2018.

WU Weiming. Research on Target Detection Algorithm Based on Faster R-CNN[D]. Guangzhou : South China University of Technology, 2018.

[11] 刘万军, 梁雪剑, 曲海成. 自适应增强卷积神经网络图像识别[J]. 中国图象图形学报, 2019, 22(12): 1723-1736.

LIU Wanjun, LIANG Xuejian, QU Haicheng. Adaptive enhanced convolutional neural network image recognition[J]., 2019, 22(12): 1723-1736.

[12] Lecun Y, Boser B, Denker J, et al. Back propagation applied to handwritten zip code recognition[J]., 1989, 1(4): 541-551.

[13] 王红霞, 周家奇, 辜承昊, 等. 用于图像分类的卷积神经网络中激活函数的设计[J]. 浙江大学学报: 工学版, 2019, 53(7): 1363-1373.

WANG Hongxia, ZHOU Jiaqi, GU Chenghao, et al. Design of activation functions in convolutional neural networks for image classification[J].: Engineering Edition, 2019, 53(7): 1363-1373.

The Influence of Deep TransferLearning Pre-training on Infrared Wake Image Recognition

ZHONG Rui，YANG Li，DU Yongcheng

(,,430033,)

With lower underwater vehicle noise levels, the infrared imaging characteristics of underwater vehicle wake have become one of the main detectable sources. Using the infrared characteristics of underwater vehicle wakes to detect underwater vehicle traces has gradually developed into a popular detection method. Because of the low efficiency and inaccuracy of artificial wake characteristics identification, the adopted artificial intelligence deep learning method can be greatly improved. In this study, the infrared feature recognition of underwater vehicle wake is the primary focus. A sample set of mixed classes was made by image classification. The training effect of different pre-training networks was compared using migration learning. The influence of the internal parameters of the pre-training networks on the training effect of the wake was discussed. Finally, in the small sample set of 45 two kinds of wake, the recognition accuracy of the network after pre-training increased by 21.43%, the false detection rate decreased by 2.14%, and the positioning accuracy of the image with infrared characteristics was 18.18% higher than that of the visible image. This pre-training test has a certain application potential for future research on wake detection combined with convolution neural network recognition.

infrared characteristics, wake, deep learning, transfer learning, faster-RCNN

TP391.41

A

1001-8891(2021)10-0979-08

2020-03-08；

2020-04-27.

钟睿（1996-），男，硕士，主要研究方向：传热、热流体及其应用。E-mail：243225679@qq.com。

杨立（1962-），男，教授，主要研究方向：传热、热流体及其应用。

“十三×五”海军预研项目。