面向光场火焰温度场重建的特征提取优化方法

单良，华夏杰，牛玉风，赵腾飞，洪波，孔明

（1 中国计量大学信息工程学院，浙江省电磁波信息技术与计量检测重点实验室，浙江 杭州 310018；2 中国计量大学计量测试工程学院，浙江 杭州 310018）

火焰作为人类最早接触和利用的能源，是支撑人类生存与发展的原动力之一。火焰温度场重建在电力生产[1]、材料加工[2]和航天发动系统[3]等领域发挥着重要作用，也在推演能量损耗[4]、确定组分产物[5]、维稳锅炉状态[6]等工作中具有指导意义。在热电偶[7]为代表的接触式测温中，测温器件直接接触火焰，测温范围受材料限制。而以激光干涉[8]为代表的主动探测，设备较为昂贵，系统复杂，常搭建于实验室环境。随着仪器科学[9]和光学传感技术[10]的发展，基于辐射测温的温度场重建[11]逐渐趋于主流，相比其他测温方法具有独特的优势。光场相机测温[12]不会干扰燃烧环境，并且搭建简便，同时具备灵敏的辐射响应能力与较高的准确度，受到国内外研究者的青睐。

近年来，基于深度学习的温度场重建在工业环境中得到了广泛的应用[13]。唐广通等[14]提出了多层感知机重建炉膛温度场的方法，通过机组调峰测算了用料量与风强对温度的影响；李智聪等[15]选用多层感知机预测了乙烯层流扩散火焰的温度与碳烟体积分布，具有良好的抗噪能力。多层感知机在测量燃烧参数表现优异，但当重建对象为火焰三维温度场时，需要重建的数据量较大，训练所需开销过高。卷积神经网络（CNN）对于图像类型的输入具有广泛的适用性[16]。Wang等[17]提出了一种集成火焰特征提取与分类的端到端框架，实现了高效的炉膛燃烧状态检测；Jin 等[18]根据12 个传统相机构成的火焰层析成像系统，提出一种基于CNN 的火焰形态重建网络，相比传统投影迭代算法，重建速度显著提升；张杰等[19]采用精简的卷积-池化结构，提出了基于光场图像的火焰温度场快速重建网络，相比传统的非负最小二乘法[20]重建单峰火焰，平均相对误差降低了一个数量级。

现有的CNN 用于三维温度场重建时已取得了良好效果，但在对宏像素图像（MPI）进行特征提取时使用了3×3卷积核，没有考虑光场图像中光线角度的动态分布情况[21]。在计算机视觉领域，如何设计合适的图像特征提取方法是实现超分辨率的重要思路。WAFA等[22]提出了一种利用全四维光场空间和角度信息进行光场空间超分辨的网络，同时考虑所有的子孔径图像（SAI），利用极线像平面信息平滑视图误差；Wang 等[23]设计了一种基于宏像素表示的光场图像超分辨率聚合网络，使用两种特殊卷积分别提取空间信息和角度信息，并对残差模块混合信息进行聚合，在超分辨率领域取得了优于CNN 的性能。结果表明，根据光场图像的像素排列规则对卷积方法进行改进，可以更准确地提取图像特征，提高重建精度。Yue 等[24]考虑到单幅图像的不同缩放尺寸对特征提取的贡献不同，提出了信道注意力模块来估计权重，构建了渐进通道注意的超分辨率网络。通过在CUFED5 等数据集上的验证，与IENet、EDSR 等先进方法相比，该网络获得了更高的峰值信噪比，表明优化特征分类对重建精度具有显著影响。

本文整合深度学习燃烧诊断与火焰形态识别框架，根据超分辨率领域对光场特征提取的优化思想，对特征提取过程进行了改进，提高温度场的重建精度。具体体现在使用SAI图像代替MPI图像作为输入；设计了一种双分支卷积方法来提取光场图像的空间和角度特征；进一步利用通道注意机制[25]来优化不同特征的权重，实现光场图像先验信息的补充，并使端到端映射更加严格，提高了温度场重建的精度。最后以MRE 和MMRE 为指标，设计了正交试验与K折交叉试验，验证上述因素对重建精度的影响。

1 光场特征的优化提取方法

1.1 传统的温度场重建网络结构

CNN 是一种用于二维形态特征识别的多层感知机。在火焰温度场重建任务中，神经网络通过识别火焰图像各尺度的特征，学习得到灰度值信息与温度场的映射关系。基于光场图像的传统三维火焰温度场重建网络[19]如图1所示。

图1 温度场重建网络结构

这类网络以光场MPI图像为输入，通过5次卷积和池化操作，将特征样式整理成复数的小图像块。将图像块中的元素展平成一维向量，并与同样展平的三维温度场数据相连接，形成一个展平-全连接模块，如图1(b)所示。卷积层负责提取当前层级的特征，使用较小的卷积核对图像中的每个像素进行正相关运算，识别感受野内的特征样式。池化层负责对图像进行降采样，减小其尺寸并扩展感受野。全连接层负责关联向量对，将展平的元素作为特征向量，解码为三维温度场数据，最终完成重建。

然而，这类网络的特征提取方法主要面向二维平面图像，还不能很好地理解光场图像的三维信息。当该网络直接用于光场火焰图像时，仅仅抓取了相邻像素包含的追迹光线角度特征，没有考虑视角间距下像素所代表的另一类追迹光线空间特征。并且卷积核下像素对应的物点坐标呈不规则排列，特征向量的数物特性不够严谨。

1.2 优化的温度场重建网络结构

本文优化后的温度场重建网络如图2(a)所示，以光场SAI图像为输入，整体框架沿用特征提取模块与池化层重复搭建，最后进行元素展平连接温度场数据。设计优化后的特征分流提取模块（OHFEM）如图2(b)所示。该模块采用两个分支去提取光场图像的空间特征和角度特征，并使用注意力模块（CBAM）[26]优化角度特征的提取。

图2 基于SAI特征分流的温度场重建网络结构

1.3 基于SAI图像的特征分流原理

在使用图1所示的传统网络重建温度场时，常使用大小为3×3 的卷积核，导致提取的特征杂糅。图3(a)为选择中心视角为6×6的火焰MPI图像，图3(b)为图3(a)红色框中的放大图像。黄色框表示每个微透镜下对应的像素簇。蓝色、紫色和绿色框都是3×3卷积核的处理对象。图3(c)为对应颜色框下3×3像素对应的物点位置，该坐标可由光线追迹与火焰切面的交点关系得到。

图3 MPI图像的3×3次卷积信息偏移

从图3(b)中蓝色框和紫色框中的像素对应物点关系可知，当卷积核下的像素均位于同一个微透镜下时，这些像素接收到的光线在物面呈规则的等距分布。然而，当卷积核下的像素不属于同一微透镜时，如图3(b)中绿框所示，虚线框内的物面交点并非等距排列在黑点处，而是落在实线框内的绿点处。这种偏移来自于光场相机主透镜-微透镜阵列-传感器的独特结构，并受到像素簇对应的微透镜位置的影响。因此在对火焰MPI图像进行3×3卷积处理时，提取的特征混淆了物理映射关系，忽略了不同微透镜下相同坐标像素的空间特征。为解决上述问题，本文将MPI图像的像素重新排列得到SAI图像，其中包含36张不同视角的子图像，如图4所示。

图4 SAI图像

特征分流首先需要将不同角度的SAI图像叠放在通道维度，作为优化的温度场重建网络输入。当采用1×1卷积核对光场图像进行采样时，可以得到光场的角度特征。同理采用3×3卷积核采样时，可以得到光场的空间特征。将得到的两类特征继续在通道维度上叠放，并传递到下一个层级。这一过程可以归纳为基于SAI图像的特征分流模块（HFEM），如图5所示。

图5 特征分流提取原理

SAI图像的1×1卷积核下的像素来自不同视角、相同坐标的像素，对应的物点分布间距相对较短，便于获取目标像素与局部区域的关系，反映小范围灰度值变化的细节。该处理相当于MPI图像的3×3卷积特征提取，但不存在跨像素簇的特征杂糅。SAI 图像的3×3 卷积核下像素为同一视角、相邻坐标的像素，对应的物点分布间距较远，便于目标像素在环境中的定位，反映了广域的空间位置信息，弥补了传统重建网络中空间特征提取的不足。

1.4 基于注意力的权重分配原理

本文提出通过注意力机制进一步优化光场火焰图像的特征提取。其中通道注意力用于强调不同类型特征的权重差异；空间注意力则用于过滤火焰背景部分，凸显特征样式主体，其计算方法如图6所示。

图6 注意力权重分配原理

在通道注意力处理阶段，对于输入的图像或特征样式，使用每个通道的最大和平均池化结果代表自身，通过两次卷积整理得到通道权重编码。将结果与输入相乘完成通道尺度的加权后，传递到空间注意力阶段，基于通道求解全局的最大值和平均值，可以得到特征边缘和主体的分布信息，通过3×3卷积压缩将两类信息到单一通道，将结果与输入相乘完成空间尺度的加权。

与MPI 图像相比，SAI 图像具有更小的分辨率，并且可以使用3×3卷积核更快地遍历全局，无需CBAM模块的辅助即可实现较完备的空间特征提取工作。为使神经网络轻量化，减少训练开销，本文仅将CBAM置于角度特征提取中。

2 温度场重建结果与分析

本文采用正交试验分析输入图像格式、光场特征提取方法和注意力机制优化三个因素的主体间效应。为了避免深度学习训练结果的随机波动，进一步采用K折交叉试验[27]，随机划分训练样本。对每组试验进行10 次训练，并对各因素的显著性进行评价。本文的评价方法MRE 和MMRE 基于测量值与真值的比较，分别求解相对误差的平均值与最大值，计算方法可表示为式（1）。

2.1 实验条件

温度场重建网络的输入设定为360×360分辨率的火焰光场图像合计1600 组。网络的输出是模拟的轴对称单峰火焰温度场，尺寸为24mm×24mm×30mm，采样步长为2mm。火焰温度场生成公式[20]如式(2)所示，温度分布情况如图7所示。

图7 轴对称火焰温度分布图

式中，H、R为火焰尺寸基准值；h、r为物点的轴向坐标和径向坐标；m、n为调整火焰大小的变易参数。采用公式模拟火焰温度场是一种有效的数字孪生方法。先前研究[19]已经通过实验证明了这种方法在实际火焰温度场重建的有效性。如果该网络在模拟数据集上具有较低的重建误差，则该网络在真实实验中也可以具备较好的重建精度。

本文的重建网络基于PyTorch 框架，在配备NVIDIA GeForce RTX 3080Ti GPU 的服务器进行训练，分别设计了8个代表性组合对上述3个因素进行析因试验。具体方案见表1。

表1 正交试验方案表

表1 中试验号1 是传统的火焰温度场重建网络，试验号8是本文提出的优化网络，两者构成对比试验。试验号2至试验号7为不同优化方案的排列组合，共同组成多因素的消融试验。

2.2 K折交叉试验分析

在深度学习中，神经网络的每次训练结果不尽相同，模型在验证数据集的重建精度会在一个小范围波动。为使评价指标更接近实际模型性能，设计了随机K折交叉试验。将样本数据集中90%的数据随机划分为训练集，剩余数据作为测试集。每组试验均进行10 次，不同试验次数下模型在验证数据集中重建的温度场MRE和MMRE如图8所示。

图8 随机K折交叉试验箱线图

图8根据拉依达准则，加号代表数据中的异常值，T形标记代表极值，蓝框由上四分位数和下四分位数组成，反映数据的主体分布，红线代表数据的中位数，反映数据的偏态分布。由此可知，试验号8的两个指标都明显小于试验号1。并且试验号8的MRE 箱体狭窄，稳定性强。MMRE 的最小结果显著低于其他试验号，反映了最佳模型能有效抑制较高误差的产生。由于单项因素在不同方案下对重建精度存在不同程度的抑制或放大作用，需要通过正交试验探讨不同因素组合对重建精度的影响。

2.3 正交试验分析

采用MRE 和MMRE 指标对进行主体间效应分析，计算结果如表2所示。

表2 相对误差计算表

表2中，Kji为j列水平为i的测试指标之和，重建任务的目的是减少误差，因此Kji越小，对应的因子水平越好。如表中K22＜K21和K42＜K41，该结果表明无论是CBAM还是HFEM都能有效降低重建温度场的MRE。对截距进行校正后，其因子显著性如表3所示。

表3 相对误差方差分析表

给定因素的显著性代表了其对重建精度的影响程度，显著性越小，影响越大。由表3可知交互效应A×B对MRE 的影响最为显著。进一步讨论计算A×B的效应误差如表4所示。

表4 MRE因素效应搭配表

表4中效应误差由同一水平组合的试验指标相加得到，并且温度场重建任务希望效应误差尽可能低。由此可知，A2B2组的效应误差小于A×B的其他组，代表最好的解决方案是使用SAI 图像作为输入，并通过CBAM优化权重分配。这一结论与交叉试验的分析一致，结合表2中HFEM能够有效降低MRE 的结论，即同时采用本文提出的三种优化因素是MRE重建任务的最佳解决方案。

同理通过表2、表3中MMRE指标的计算结果，可知该指标下使用CBAM 仍然可以有效地降低MMRE，并且HFEM、交互效应A×C和交互效应B×C三者对MMRE 指数的影响均较为显著。为考虑交互效应之间是否存在方案冲突，需要进一步讨论不同因素间相互作用的因素搭配如表5所示。

表5 MMRE因素效应搭配表

从表5 可知，A2C2组和B2C2组的效应误差小于其他组，满足C2采用HFEM与B2采用CBAM的单因素最佳方案。即对于MMRE 指标，最好解决方案仍是同时采用本文提出的三种优化因素。

2.4 网络收敛速度

在深度学习中，网络收敛速度是衡量网络性能的另一个标准，图9 为试验1 传统网络和试验8 优化网络随周期迭代的MRE变化趋势。

图9 MRE随训练周期变化趋势

图中横坐标为训练周期数，纵坐标为对应周期下模型在测试集的MRE。优化网络在15 周期后MRE 均优于传统网络，并且在训练前期有更显著的下降趋势，在50 周完成收敛。均训练150 周期后，传统网络耗时1155s，对应MRE 为0.286%。优化网络耗时1395s，对应的MRE 为0.150%，重建精度提高了44.82%。

3 结论

本文提出了一种基于SAI图像输入、光场特征分流提取和注意力机制优化的火焰温度场重建网络。与以往的方法相比，温度场重建精度更高。

本文以SAI图像为输入，利用不同的卷积核分别提取光场角度特征和空间特征，解决了传统网络特征混淆和信息片面的问题。再将注意力机制与特征分流过程相结合，自主分配不同尺度的特征权重，强化重要特征对温度计算的贡献。

采用K折交叉试验和正交试验分析了本文提出因素的交互效应。结果表明，3个因素通过交互作用显著提高了温度场的重建精度，同周期下将平均相对误差从0.286%降低到0.16%，最大相对误差从3.51%降低到2.29%，并且网络训练的收敛速度更快。