基于AdaBelief残差神经网络的超材料结构逆设计

冯可豪，李白萍*，蔡艺军，周远国

(1.西安科技大学 通信与信息工程学院，西安 710000； 2.厦门理工学院 光电与通信工程学院,厦门 361000)

引 言

2维材料是指单个或多个原子层晶体结构，具有机械柔性和易于集成等特点，与硅(Si)或砷化镓(GaAs)等3维材料相比，2维材料具有许多独特的光学特性[1-2]。石墨烯作为一种2维等离子体材料，其高导电性和光学高透明度特性适用于透明电极和激光器[3-4]，另一方面可设计为光电探测器、光学传感器等应用[5-6]，其中多层石墨烯结构可实现完美吸收等特性。利用石墨烯根据需求设计光子超材料结构需要通过电磁模拟来解决复杂的逆问题，现阶段的纳米光学器件为实现更强大的功能使得其规模和复杂性不断增加，通常采用迭代运算的传统数值模拟方法,例如有限元法(finite element method，FEM)、时域有限差分法(finite-difference time-domain，FDTD)等方法[7-9]，依赖于数值模拟软件，如COMSOL,HFSS等。但是由于逆问题的高度非线性，这些数值模拟已难以满足光学结构设计的需求，并且此类方法会造成大量的时间资源和计算资源的消耗。因此，采用优化算法可以解决此类问题，包括拓扑优化[10]、遗传算法[11]、水平集方法[12]等，然而优化算法受到搜索性质的限制，随着问题难度的增加，难以解决逆问题，且易陷入局部最优值。

深度学习使用深层次的神经网络采用非线性转换对模型的抽象化进行数据处理与计算，在计算机视觉、语音识别、数据挖掘[13]等领域不断发展的同时，已成功应用于计算机科学以外的物理研究中，例如频谱预测[14]、天线设计[15]、多层纳米粒子[16]等，形成了革命性和有效性的方法。神经网络的基本思想是由预定义的训练模型来预测当前问题，通过不断地迭代更新权重参数来取得更优的预测效果，其反向传播算法适用于结构繁杂且参数众多的数据集。神经网络已被广泛应用于电磁学的设计及预测问题中，以更高的精度与效率来解决此类问题，如滤波器、传感器、超表面等结构设计中。对于更为复杂的光学结构设计，如光子晶体[17]、超材料[18]、硅光子器件[19]等仍处于起步阶段，由于其性能的复杂性和设计的灵活性还未形成系统化的深度学习解决方案。

在本文中，将神经网络应用于石墨烯和氮化硅的多层交替薄膜超材料结构的预测中，输入为入射角等于85°的多谐振完美吸收光谱，得到输出基于石墨烯的超材料结构参量。神经网络通常采用1阶梯度法训练，存在两个分支：随机梯度下降法(stochastic gradient descent,SGD),如动量随机梯度法(momentum-SGD)、内斯特罗夫加速梯度法(Nesteroff acceleration gradient,NAG)，以及自适应学习率方法，如自适应法(adaptive method,Adam)、自适应梯度法(adaptive gradient,Adagrad)、自适应约束法(adaptive bound,AdaBound)、均方根传播法(root mean square propogation,RMSProp)等方法。然而相对于文本及图像识别，纳米结构参数预测的采样空间相对较小，且难以获得大量样本，常见的神经网络往往存在陷入局部最优解以及测试集依赖于训练模型的缺陷。采用SGD作为网络的优化器进行训练，无法得到稳定且准确的预测结果，采用多种自适应学习率方法进行训练，并对多种方法的预测结果进行了比对，Adam优化算法的预测结果较为稳定和准确，但预测精度仍然无法达到预期。自适应信念法(adaptive belief,AdaBelief)在图像分类和语言建模等应用场景中比其它方法的收敛速度快、准确率更高，表现出较高的稳定性,并提高了样本的质量。本文中将AdaBelief优化器运用于石墨烯基超材料的设计中，对采用Adam,AdaBelief,SGD优化算法的神经网络的预测结果进行了对比与评估。预测结果表明，基于AdaBelief优化器的残差神经网络(residual neural network,RESNET)[20]收敛速度更快且预测精度更高，该网络展现了在超材料和超器件设计中的强大能力。

1 方法与结构

构建基于石墨烯的超材料结构来评估该改进型神经网络在结构设计中的能力。如图1所示，该结构由多个无限宽的石墨烯和氮化硅交替层构成，设计空间为每层氮化硅的厚度，用d1,d2,…,dn来表示从底部至顶部的各层氮化硅厚度。

Fig.1 Alternating multilayer film structure consisting of graphene and Si3N4

激发光以入射角θ及特定偏振进入半球棱镜与结构体中，电介质的光学厚度控制在可见光与红外区域的亚波长范围内，其目的是产生所需光学响应(如某一波长范围的完美光吸收)。

单层石墨烯光子晶体的介电常数ε为：

ε=ε0+iσ/Δω

(1)

式中,ε0表示真空介电常数，Δω表示入射光的角频率的变化量，石墨烯层表面电导率σ可用Kubo公式计算：

σ(ω,μc,Γ,T)=σintra+σinter

(2)

(3)

(4)

f(ξ,μc,T)={exp[(ξ-μc)/kBT]+1}-1

(5)

(6)

式中，δi=2πNidicosθi/λ为入射光的相位因子，其中Ni,di,θi,ηi分别表示第i层石墨烯的复折射率、厚度、入射光角以及倾斜光学导纳,λ为波长。吸收光谱可由底层到空气的光学导纳Z=X/Y来表示，其中Y和X的矩阵如下：

(7)

因此，吸收光谱可如下表示:

(8)

式中,η0和ηc表示空气和棱镜的光学导纳；*表示共轭。

使用改进型残差神经网络实现石墨烯超材料结构的反设计，如图2所示。通过特征矩阵法根据各项光学参数计算得到的吸收光谱样本集H={hi,i=1,2,…,n},预测结构体的厚度参数D={di,i=1,2,…,n}。该网络底层映射表示为H(x),使得堆叠的非线性层适用于F(x)=H(x)-x,则原始映射被设置为F(x)+x。采用快捷方式跳过多层网络进行连接并执行身份映射，输出被添加到堆叠层的输出中，通过反向传播算法不断更新参数进行端到端的训练，降低了计算的复杂性，有效避免梯度弥散和梯度爆炸的现象。除了改善残差神经网络以更好地实现超材料的反设计，还引入了AdaBelief优化算法以实现网络的快速收敛并保证训练的稳定性，克服神经网络陷入局部最优解的缺陷，AdaBelief优化算法与其它算法如自适应约束法、控制自适应法、自适应权重法等算法进行了广泛的比较，如利用残差神经网络和稠密连接网络等在Cifar数据集进行图像分类与识别，以及在佩恩树库数据集上采用长短期记忆单元网络进行语言建模等实验。结果证明,AdaBelief优化算法的学习曲线的收敛速度和精确度均优于其它优化算法，算法细节如下所示。

Fig.2 Structural illustration of a residual neural network(the input depicts as the optical response, and the output depicts the material structural parameters)

2 AdaBelief优化算法

首先定义参数gt,mt和st。

(9)

(10)

θt更新为：

(11)

(12)

Adabelief使用损失函数的曲率来改进网络的训练，当gt与mt偏差很大时，优化器采用较短的步长;当gt接近预测值mt时，优化器采用较大的步长。由以上分析可知,AdaBelief通过梯度的不断变化来更新方向。

3 结果和讨论

训练神经网络的目的是获取基于石墨烯的超材料结构参数。以85°入射角s偏振为例，采用特征矩阵法计算了50000个特定范围内的随机厚度参数所对应的吸收光谱训练样本，每个样本共有从t1～t256共256个采样点，额外计算1000个随机厚度的测试样本，定义了吸收光谱的预测误差函数P以评估算法的有效性和精确性，如下所示：

(13)

式中,n,hi,xi分别代表预测样本总数、目标吸收光谱和预测吸收光谱的离散值，该公式为每个样本所得预测误差，总预测误差值为各个样本预测误差的平均值，以该公式来评估AdaBelief,Adam,SGD 3种优化算法在该实例中的预测结果。

图3为AdaBelief神经网络、Adam神经网络、SGD神经网络的学习曲线。每时期的预测误差是样本总误差的平均值，在200个时期中，SGD优化器的网络的预测误差曲线在前10个时期下降至25%左右后并无继续下降的趋势，说明在输入吸收光谱预测结构体参数的小采样空间的实例中，SGD优化器的性能较差，无法取得理想的预测结果。Adam优化器在200个时期中，预测误差曲线并未持续下降，始终在5%左右振荡，网络不够稳定；而AdaBelief优化器的预测误差曲线在经过30个时期的振荡之后，呈稳定下降趋势，经过200个时期的训练，预测误差降至2.5%左右，这说明该优化器在超材料结构体逆设计中收敛更快、精度更高。

Fig.3 Learning curve of AdaBelief, Adam and SGD neural network

对采用AdaBelief优化算法、Adam优化算法、SGD优化算法的网络的预测光谱进行了分析与比较。如图4所示，采用特征矩阵法所计算的吸收光谱在761nm处的吸收率达到99%以上，采用SGD优化算法的网络预测氮化硅纳米薄膜厚度参数，预测吸收光谱与目标光谱在波段和吸收峰值中均产生了明显偏差，无法实现结构体的精确设计。而Adam优化算法和AdaBelief优化算法的预测结构参数所生成的吸收光谱与目标吸收光谱的重合度较高，并可明显看出，引入偏差校正项的AdaBelief优化算法的精度更高，说明该算法所预测光谱与特征矩阵法获得的目标光谱具有一致性。

Fig.4 Target absorption spectrum of a single absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

采用特征矩阵法构造出了在红外波段具有多完美吸收峰的吸收光谱，如图5和图6所示。在304nm和1764nm左右达到95%以上的吸收率，在250nm，455nm和2628nm处达到95%以上的吸收率，在双吸收峰光谱和三吸收峰光谱的对比图中，AdaBelief优化算法的吸收光谱曲线和目标吸收光谱曲线的重合度最高，Adam次之，SGD存在显著偏差。

Fig.5 Target absorption spectrum of double absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

Fig.6 Target absorption spectrum of multi absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

随机抽取了其中一组预测结果进行了分析和比较，如表1所示。表中给出了薄膜结构体交替层中5层氮化硅的目标厚度与3种算法网络的预测厚度，由表中可以看出,采用AdaBelief的网络所预测厚度的平均误差低于其它两种算法所预测结果，进一步说明了AdaBelief算法在基于石墨烯的超材料结构体逆设计中的高精度。

Table 1 Target structural parameters and prediction structural parameters and average error based on AdaBelief, Adam, SGD networks

4 结 论

首先构建了基于AdaBelief优化算法的改进型残差神经网络,将其运用于基于石墨烯超材料的结构设计中，其次使用特征矩阵法获得多完美吸收峰的目标光谱作为网络的训练集与测试集。基于AdaBelief的神经网络的预测结构参数的平均误差小于其它方法的平均误差，并且所对应光谱表现出与目标光谱的高度一致性，预测结果表明,基于AdaBelief的神经网络有效地解决了在小采样空间内网络易陷入局部最优解使得预测误差无法持续下降的问题，加快了网络的收敛速度并保证超材料结构参数预测的高精度。该方法为其它基于2维材料的光学结构设计提供了新思路。