基于音视频深度学习技术的传送带保护系统

宋远

[摘    要]随着智能算法越来越成熟，深度学习技术也开始在大型输送设备上应用。介绍基于视频技术通过深度学习算法模型智能化解决客户的现场皮带设备的安全运行、皮带巡视等需求的大块异物检测系统，以及基于音频技术通过深度学习算法模型智能化算法监测和诊断皮带传送声音状态，实现事故发生报警，降低生产安全损失的声音分析系统。通过这两种技术，能有效地降低现场巡视人员的人数和劳动强度，能够实时了解传送带的运行状况，减少事故的发生。

[关键词]深度学习;智能化;异物检测;声音分析

[中图分类号]TP391.41 [文献标志码]A [文章编号]2095–6487（2022）01–00–04

[Abstract]As the intelligent algorithm becomes more and more mature， the deep learning technology also begins to be applied in large-scale conveying equipment. This paper introduces a large foreign object detection system based on video technology to intelligently solve the needs of customers for the safe operation of on-site belt equipment and belt inspection through deep learning algorithm model， and an intelligent algorithm based on audio technology to monitor and diagnose the sound state transmitted by leather belt through deep learning algorithm model， so as to realize accident alarm， Sound analysis system for reducing production safety loss. These two technologies can effectively reduce the number and labor intensity of on-site inspectors， understand the operation status of conveyor belt and reduce accidents.

[Keywords]deep learning; Intellectualization; Foreign matter detection; Sound analysis

1 系统设计原则

根据当前人工智能在企业应用上的技术状况和发展趋势，采用人工智能视频识别方案、音频识别方案、主流开发技术，进行高级应用开发。在保证高度安全可靠的前提下，使系统稳定高效、易用、易维护、易扩展。

1.1 先进性、成熟性原则

采用目前国际上先进而且成熟的系统设备、软件技术，使系统具有较高的技术水平和较长的生命周期。它同时也保证了系统具有良好的开放性、可靠性及可扩展性，能够满足未来企业发展的需要。

1.2 經济性、实用性原则

①尽可能保障现有的资源（包括硬件资源和软件资源）能够得到充分利用，在保证系统性能并达到要求的前提下，尽量使系统投资最省。②确保系统具有友好的用户界面，使用户便于掌握、使用和维护，且能解决具体的实际问题，同时，确保系统具有良好的性能、较高的处理效率，且配置和使用灵活。③以实际的管理业务流程为基础，但不是成为手工系统的仿真，而是加以提炼并提高，对管理水平的提高有所帮助。

1.3 开放性、可扩展性原则

应用软件保持开放性以便于系统的扩展，系统具备扩展的接口与手段，在应用的规模与功能需要增长时，能够保证系统的平滑升级与扩充。体现在软件的设计上表现为应用基础平台设计、数据结构设计、软件构件化程度、软件文档的实用和规范，以及公共部件包括应用类库的开放程度等方面。

1.4 安全性原则

系统设计满足安全要求，数据定期备份保证数据安全。

1.5 标准性原则

系统设备、软件、编码、文档、网络协议等以及所采用的开发技术遵循相应的国际标准和国家标准。

2 大块异物检测系统

2.1 系统概述

大块异物检测系统：通过深度学习算法模型智能化解决客户的现场皮带设备的安全运行、皮带巡视等需求。

具体来说，大块异物检测系统是一款面向工业的视觉AI开发系统，其提供面向客户人员使用的全流程“0”代码的模型训练、优化与模型预测服务。具备数据对齐、模型训练、模型测试、模型分发、模型管理和项目管理等AI功能，在皮带设备安全运行、皮带巡检等视觉场景为客户实现降本增效提质的AI应用能力。

本系统以自研的AI算法、模型和各类硬件算力为核心。通过在皮带附近安装的高清摄像头对皮带上的矿石进行分析，分析各种矿石外的杂质，如木块，铁板，钢丝，大型石块等。检测出异物后对异物的直径进行判断，进行警报或者通过对接PLC设备对所属线路进行停机。停机后大块异物所停的位置要根据速度和时间计算，以方便维护人员检出。后台可灵活地配置对于大块异物检测标准。

2.2 系统架构

2.2.1 硬件系统

大块异物检测系统分为三层：信息采集层、AI数据识别层、皮带控制层（图1）。

（1）信息采集层：在现场布置高清防抖摄像头以及补光灯，进行皮带运行视频数据采集，将采集数据实时传输至AI计算工控机。

（2）AI数据识别层。采用安装有高算力GPU运算卡的工控机，收集实时视频数据，运用自研的AI算法和模型，实时分析皮带运行状态。系统具备模型训练、模型测试等完善模型功能。通过深度学习使系统越用越准确，效率越高。

（3）皮带控制层。通过OPC通讯，与皮带控制PLC建立通讯。一旦系统发现皮带上有异物，下发控制命令控制皮带电机停机。

2.2.2 异物检测视频分析技术架构

本系统结构以CAPI为界，将整个系统分为前端和后端两个子系统（图2）：

（1）前端系统。提供编程模型，负责构造计算图;

（2）后端系统：提供运行时环境，负责执行计算图。

2.2.3 皮带控制系统联动技术架构

皮带控制系统联动，大块异物检测系统和声音分析系统分析发现影响皮带设备运行的故障信息后，通过软件平台报警系统发出控制信号，通过网络IO控制器，与皮带控制PLC建立通讯，控制皮带电机停机（图3）。

2.3 系统特点

2.3.1 系统特点

系统配置高清防抖摄像机，安装在皮带附近，可以响应4～6m/s的皮带运行速度。AI数据识别高速完成视频帧解析，交由总控统一任务调度：①完成帧快速过滤，过滤掉空轨帧和无信息帧，将目标帧转发至信息区域提取节点，完成异物目标识别提取，并根据对异物大小尺寸判定完成对异物的切分;②标记信息识别节点进一步完成详细标记信息，识别结果反馈给总控节点，由总控节点完成各皮带视频点信息的综合，得出最终识别结果;③由应用系统接口模块将识别结果提供给业务应用系统。

模型可通过自迭代学习，其识别率可以快速增长。在运行效率上，系统采用高算力GPU运算卡设备，优异的模型算法，从而提供识别效率。

2.3.2 技术架构特点

（1）支持多语言的客户端，方便用户构造各种复杂的计算图，实现所需的模型设计。客户端以会话为桥梁连接后段的运行时，并启动计算图的执行过程

（2）分布式Master负责将计算图拆分为多个子图，以便在不通的进程和设备上并行执行

（3）Worker Service负责在硬件环境（如CPU或GPU）上调用OP的Kernel实现完成图的计算，并从其他Worker Service接受计算结果或将计算结果发送给其他Worker Services

（4）数据操作层是OP在硬件设备上的特定实现，负责执行OP运算，如数值计算、多维数组操作、控制流、状态管理等，每个OP根据设备类型都会存在一个优化了的Kernel实现。在运行时根据本地设备的类型，为OP选择特定的Kernel实现，完成该OP的计算。其中，大多数Kernel基于Eigen：：Tensor实现。Eigen：：Tensor是一个使用C++模板技术，为多核CPU/GPU生成高效的并发代码。

2.4 主要设备介绍

2.4.1 摄像头

400万像素、黑光、夜间全彩、防抖（或电子防抖）。

2.4.2 工控机

CPU：i7-9代;内存：16G;固态硬盘：M.2：256G+4T机械硬盘;显卡：RTX308010G显存;双千兆网口、4COM、USB2.0×4;键盘鼠标。23.8寸显示器

3 声音分析系统-人工智能声纹识别技术

3.1 系统概述

声音分析系统通过从已有视频服务器中提取音视频流数据，通过深度学习算法模型智能化算法监测和诊断皮带传送声音状态，实现事故发生报警，降低生产安全损失。

3.2 视频服务器分离音频流

传送带周围安装的智能摄像机，获取监控皮带运行的视频流（复合流），工控机读取视频服务器中的视频文件，利用FFmpeg获取服务器中视频文件的媒体流（包括视频流、音频流）对应的轨道，从而获取原始视频文件的视频信息以及音频信息。

通过程序完成对视频流中音频信息的抓取，但此时获取的音频信息（包括采样率、声道数）不可靠，而且音频文件不具有完备的音频属性。为了达到对异常声音的有效识别，需要对音频文件进行解码处理：对音频文件关键帧进行读取，通过对音频文件音频帧解码处理后，音频文件具备具体的音频属性，之后对音频进行分析处理。

3.3 分离出的音频文件处理（排除其他杂音）

声音事件分析识别技术作为机器听觉系统中的重要一环，承担了利用声音信号感知环境并对环境中各类复杂情况进行分析判断的任务。相比于视频和图像信号，声音信号具有不受角度、光线以及地形等条件限制的优点。声音事件分析识别技术本质上是音频分类技术。

未经处理的声音音频是多维度、复杂性很高的数据。如果直接用来进行分析及分类处理，数据处理量非常巨大。因此需要对音频文件进行预处理：剔除噪声信号以及工频信号。然后对音频进行特征提取和分类，降低音频信息数据维度，降低音頻文件的复杂性，降低声音分析的工作量。

设备出现异常时，声音发生变化，但声音变化可能会不明显，人耳也会无法分辨，所以需要通过对异常声音进行预加重、滤波处理，突出异常声音片段的特征。另外为了提高整套系统对工作环境的适应性和稳定性，需要积累异常声音样本的类型和数量。

3.4 声音分析异常结果报警

控制软件平台接收到声音分析系统的判断结果，将该消息发布到报警处理模块，向系统内用户推送报警信息，从而实现自动报警处理。

3.5 利用深度学习识别故障声音

深度学习是机器学习算法研究中的新的技术，其动机在于建立、模拟人脑进行分析学习的神经网络。利用深度神经网络将连续的音频分割成一帧一帧的音频片段，从这些音频片段中提取该段对应的声学特征，用这些特征对模型进行训练，进而对目标进行识别。最终实现对音频文件的分析以及音频文件特征提取并且完成对声音的分类。

深度神经网络应用的其中一个方向是直接利用原始音频文件对卷积神经网络（CNN）进行训练。卷积神经网络模拟生物神经网络结构，拥有很高的网络层数，直接将原始音频文件输入网络，发挥了卷积神经网络的优势，能够更精确实现音频分析和特征提取。

深度学习从数据中自动学习声音特征，智能感知声音目标类别，将设备正常运行的声音特性进行保存，以设备正常运行的声音特性作为基准，确定模型中各个参数，结合模型训练实现深度学习，将故障状态下声音与正常运行时的声音进行精确对比分析，如果出现与正常运行声音特征不一致（主设备声音异常变化），最终形成判断，将判断结果发送至控制软件平台。

3.6 音频信号分析以及特征提取

从视频服务器获取的音频文件中包含很多声音：包括设备运行声、讲话声、自然环境声（如风声、雨声、雷电声以及鸟叫声等）。面对庞杂的声音需要设计一套合理的算法，准确地提取并分析设备运行声音。

声音信号庞杂，无法直接对音频提取特征。需要在剔除噪声信号以及工频信号后，应用MFCC梅尔频率倒谱系数技术，降低声音数据维度，并且保留信号的有效特征，最终实现对音频信号的分析以及特征提取。

音频信息特征提取之后，需要依据特征空间选择分类器对音频内容进行分类。不同的声音具备不同的频率信号，不同频率信号所处的音调各不相同，基频和音调联系紧密，音调高低由相应的基频曲线决定，因此利用音调的频域进行特征提取，可以提高声音分类的准确性，准确地区分设备运行声以及其他声音。

4 结束语

基于音视频深度学习技术在传送带保护方面的应用还处于研究和试点阶段，根据试点的案例来看，结合不同的项目具体环境，深度学习还需要一定的过程，相对于传统的皮带机保护装置而言，存在一定的误报警情况，而随着时间的推移，积累够一定的数据之后，误报警情况会得到一定的改进。

参考文献

[1] 李素娟.皮带机智能检测系统设计开发[J].中国科技博览，2012（26）：348.