基于人工智能Automl 技术的短波发射机故障预测研究

赵 宇

(国家广播电视总局2021 台,黑龙江 齐齐哈尔 161000)

1 Automl 自动机器学习

人工智能技术在本文中特指基于深度学习技术算法的人工智能技术,深度学习算法在模式识别、特征提取等方面有着广泛的应用。 其对数据结果的预测也是目前研究的热门方向,在各行业中,设计者试图通过对神经网络模型的训练,使AI 不断接近甚至超过人类对事物的判断和预测能力。

Automl 目前的主要研究领域为元学习及神经架构自动搜索,其中神经架构自动搜索技术较为重要,通常将神经网络的超参数自动优化也包括在神经架构自动搜索技术中。

本文探讨了基于神经架构自动搜索技术(Neural Architecture Auto-search,NAS)生成的神经网络,应用于无线短波发射机设备故障预测的研究及实现,对设备故障的预测本质是一个分类及回归问题[1]。 何种神经网络结构能够较好地完成该类任务,本研究将这个问题交给Automl 技术进行自动处理,最后进行结果测试。

2 Auto keras 开源框架

目前为止,包括商用与开源的Automl 框架平台为数不多,如AZURE,谷歌的Automl,Auto-sklearn,MLBox,TPOT,H2O Automl 等,其中除谷歌的Automl 外,大部分框架难以训练出现代的深度学习网络,Auto keras 是能与谷歌Automl 在支持技术上对标的一个开源深度强化学习框架[2]。

Auto keras 框架使用的是加强型NAS 技术即enas,enas 技术以图论为基础,针对如何自动构建神经网络结构这一问题,究其本质是针对可变长的结构序列进行结构空间的搜索。 因此,与NAS 技术类似,enas 使用一个擅长序列处理的RNN 循环神经网络作为其生成真实网络的控制器(见图1),可称之为controller 网络,该controller 网络对将要生成的真实网络按照有向图的拓扑结构进行空间搜索,RNN 链上的每一个生成节点都预测之前的残差及算子,多次迭代生成子网后,针对精度反馈再反向训练controller 网络,直至搜索收敛出最优结构及参数。

图1 RNN 控制网络原理

其中enas 较NAS 的优势在于,它是依据图论、子图的共享权值,因此在训练过程中相当于迁移学习,避免重新训练子模型,因此非常高效,而NAS 技术仅使用梯度策略进行模型的训练,效率相对较低。

3 系统设计思路

人工神经网络的计算需要调用大量的计算机程序,因此,整个故障预测系统的结构考虑设定为分布式计算结构,将训练机和投入使用的预测机分布在不同的层次,在运行时支持同步计算和同步预测。

无线短波发射系统的核心是短波发射机,一部大功率的短波发射机通常关联了复杂的子系统,如控制操作系统、冷却控制系统、真空电子管器件、音频处理系统、调制系统、电力系统等。 其故障的种类和规律具有多样性,因此,如果要设计一个用于故障预测的系统,首先必须避免进行模型的多分类计算,而是通过将所有子系统汇集到中央控制系统的故障信息输出,针对每一个单独的故障类型使用Auto keras 进行单独故障建模,最后部署至应用场景时,确保多个模型是分布式并行预测的。 汇总计算结果,能得到最终的预测结果。

基于此,整个预测系统的架构设计如图2 所示。

图2 训练数据集部分数据

(1)自动化训练机。 存取发射机中央控制系统的秒数据,对故障历史信息进行自动分类的存储管理,形成大数据库,提供故障数据集、干扰数据集的文件格式导出功能。 同时,该机会自主统计所有故障的发生频率,形成一个排序统计表,按照故障发生的频度对要训练的模型进行优先排序。 进行训练时,系统先根据该故障进行数据回溯,并随机抽取数据启动Auto keras 进行模型的生成,训练完成后进行模型的保存、自主生成网络结构的图片展示及精度的汇报,供操作人员决定是否使用该模型,然后进行下一条故障模型的搜索生成。 对于不同的故障类型,此训练活动是不定期的,是否进行自动化训练取决于近期该故障的数据集是否采集到足够多的新数据。 另外,考虑到每一次自动训练耗时较长(一般为十几个小时到几天时间),训练机采用多机分布式轮流训练结构,每台训练机都会配置支持cuda 的显卡,并提供终止自动训练和手动训练的功能。

(2)故障预测系统。 提供前端显示界面的主机,汇总实时计算结果,支持故障预测结果的显示。

(3)分布式预测机。 使用由Auto keras 生成的模型进行故障预测的主机(或虚拟主机),每一台预测机在接到实时秒数据后都将应用自己的预测模型给出预测结果至数据库。 每台预测机使用的预测模型由操作人员根据自动训练机产生的模型择优选择上传使用。

4 数据集及数据准备

短波发射机的故障预测系统设计,首先要进行数据集数据的选取。 为了能够较好地解决这个问题,通常的选取原则是多因素、多维度,为防止训练结果的过拟合,样本量要足够大[3]。 而用于训练神经网络的数据集的完备程度,依赖于短波发射机房数据的采集广度和深度,针对短波发射机的故障预测,关联性较大的数据有:温度控制数据、发射机运行秒数据、该种故障发生的历史频度作为先验经验。 这些数据的采集依赖于机房的信息化建设,可以通过发射机设备的通信接口、单片机的通信接口、数据的统计计算等途径,进行程序的开发获得。

以上述数据为例,构建如图2 所示数据集trainval(由训练机自动生成),数据集的格式为csv 格式,便于Auto keras 中的结构化数据分类器进行读取,其中defected 代表故障发生的标签,该数据集包含了短波发射机故障发生前数十秒的数据的平均统计值,也包含了并未发生故障用于训练模型的干扰条目。 同理生成另外的一份数据集evalval 用于测试最终模型生成的效果。

在训练机上部署anaconda 虚拟环境,在虚拟的Python3.9 环境下安装tensorflow 和Auto keras 框架,Auto keras 框架基于keras,而keras 在后期被包含于tensorflow 中,无须单独安装,因此,可以从keras 框架导入plot_model 用于对自动生成的神经网络进行绘图,以便于直观地了解程序自动生成的神经网络的层次结构。 前期准备代码如下:

可以预见,短波发射机的故障预测问题是一个数据的分类问题。

5 自动模型搜索enas

Auto keras 框架的使用便捷灵活,首先是初始化结构化数据分类器tructuredDataClassifier:

这里设置max_trials=3,表示keras 进行神经网络架构搜索时,最多尝试3 种不同的神经网络单元,与谷歌Automl 一样,Auto keras 支持的神经网络模型有:卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)。

Auto keras 的分类器初始化完毕后,开始进行训练数据集train 的数据填充:

为了测试方便,这里设置训练集在神经网络中的传播迭代周期为10,即epochs=10,加大该值将增长模型生成的时间及计算成本。

准备完毕,开始搜索最优模型,程序在这里进行模型结构的自我生成,也是enas 技术的核心运行阶段:

predicted_y = clf.predict(test_file_path)

Auto keras 最终给出的神经网络结构如图4 所示:

图4 最终的神经网络结构

可见,Auto keras 认为解决该问题的最优模型应使用较多的全连接神经网络结构,即dense 层。

6 模型验证

最后,对该模型使用验证数据集evalval 进行效果评估,

print(clf.evaluate(test_file_path,"survived"))

结果如图5 所示:

图5 测试结果

可见,使用Auto keras 生成、而非人为设计的神经网络的准确率达到了81.43%,导出此模型并上载至预测机,即可对短波发射机的实时秒数据进行故障预测。

7 结语

通过对Auto keras 的实际使用及测试可以发现,Automl 技术自动生成的神经网络应用效果与人工进行结构设计、超参数调优的神经网络的应用效果较为接近。 在进行人工设计神经网络时,结构设计及超参调优往往依靠专家经验和知识,时间和调整的成本与Automl 技术相比处于劣势。 解决复杂问题或者设计结构复杂的深度神经网络,需要较多的生成模型且要获得相对不错的计算结果时,使用Automl 技术不失为一种高效的方法。