一种电子设备监测识别与定位方法*

余兴华，黄 河，罗淑丹，周 佳，王梦寒，李雨锴

（1.中国电子科技集团公司第三十研究所，四川 成都 610041；2.中国人民解放军61660 部队，北京 100089；3.西南交通大学，四川 成都 611756）

0 引言

视频监控是当前敏感区域物理安全防护的主要手段，主要通过实时查看、事后回放等方式来肉眼识别非法人员和非法行为。图像识别等人工智能技术的发展，使得基于人脸识别的门禁系统、基于车牌识别的车辆管控等应用得到了飞速发展[1]。然而，一方面，基于电磁、红外等雷达技术虽然可以实现对移动物体的识别，但难以识别静止物体、小型物体并对物体进行区分[2]。另一方面，随着物联网、移动互联网的发展，关键行业物理环境中的电子设备呈现多样化发展趋势，需要技术手段来辅助进行安全管理。此外，物理隔离虽然是网络安全防护较为有效的手段，但也面临着非法电子设备、无人驾驶装置带来的监听、拍照、联网等入侵威胁[3]。因此，亟需一种以电子设备为中心的身份识别、行为识别、威胁评估新方法，摆脱传统人工识别、人脸识别或行为识别的局限，实现分等级的监测预警。

本文针对敏感区域，通过智能图像识别、定位与轨迹跟踪方法，提出一种新的电子设备监测定位方法，实现对不同安全等级电子设备轨迹行为的实时智能监测和预警，从而为关键信息基础设施及其敏感区域提供增强的物理环境安全与网络信息安全保障。

1 相关识别定位方法介绍

随着智能化时代的到来，越来越多的研究学者提出了相关的目标识别定位技术，尝试打破目前在室内环境下目标识别定位领域面临的诸多瓶颈，其中具有代表性的方法有：

（1）红外线技术[4]。红外线技术主要是利用红外成像方法实现定位，因具有较好的环境适应能力以及较高的空间分辨能力，常用于目标检测。

（2）射频识别（Radio Frequency Identification，RFID）定位技术[2]。RFID 定位技术因具有快速精准识别、价格低廉以及非接触式的优势，非常适合对室内移动目标进行识别，其信号是以电磁波的方式进行传播。

（3）超声波技术[5]。超声波技术通过多边定位等方式来估算目标坐标，即根据接收器接收到由发射器发射的信号并随即返回给发射器的时间差，估算出目标到环境中各个接收器的距离，进而确定目标位置。

（4）计算机视觉技术[5]。计算机视觉技术是通过视觉传感器确定图像中待测目标的位置。通过对图像进行特征提取，建立特征库。当待测目标进入检测范围后，通过比较目标所在位置的特征和库中的环境特征来确定目标位置。

除了以上方法，在目标检测与图像识别领域，深度学习技术是目前最有效的手段。基于深度学习技术的目标检测算法中比较有代表性的有：

（1）深度卷积神经网络算法[6（]Region-Convolutional Neural Networks，R-CNN）。该算法采用卷积神经网络进行特征提取，并采用支持向量机（Support Vector Machine，SVM）方法进行分类。该算法于2014 年发布时，在目标检测领域的影响很大。

（2）Fast R-CNN 算法[7-9]。Fast R-CNN 算法在原有的R-CNN 基础上进行了优化，聚焦单任务训练，同时更新了所有网络层，在检测准确率与检测速度上均有很大提升，实现了在卷积神经网络下的端到端检测。在应用领域该方法可以运用于安防、人脸检测、辅助驾驶等多个方面，目前已经取得了很多重要成果。

本文采用Faster R-CNN 方法实现电子设备的检测，并基于检测到的目标中心位置进行轨迹与行为分析验证。

2 电子设备监测识别与定位过程

本文针对敏感区域中电子设备的监测识别与定位问题，综合考虑了目标检测、机器视觉识别定位等不同方法的思想。首先，利用识别算法判断是否有新的电子设备进入，以及是否有非法电子设备进入等情况；其次，通过定位算法实时监测设备在区域内的坐标变化，分析是否出现原有电子设备被移动或移出等行为；最后，根据设备的安全等级与设备的轨迹行为对区域内的威胁等级进行划分，针对不同的威胁等级智能输出语义描述，进行及时预警响应。

敏感区域电子设备监测定位方法实现过程如图1 所示，包含设备安全级别划分、设备行为获取、威胁等级划分和预警响应4 个过程，针对敏感区域，实现对不同安全等级电子设备轨迹行为的实时智能监测和预警。

图1 敏感区域电子设备监测定位方法描述过程

2.1 设备安全等级划分

设备安全等级划分模块根据敏感区域的具体情况，将监控区域内外不同设备根据敏感程度及安全类别划分为普通设备（授权）、敏感设备（授权）和非法设备（未授权），以便作为分类识别与评定威胁等级的依据。

2.2 设备行为获取

设备行为获取模块通过固定广角摄像头对固定监测区域进行设备图像采集，并对不同安全级别的设备图像进行深度学习预处理，训练形成电子设备模型。通过对监控区域内电子设备进行识别、定位，判断是否出现新设备，以及是否有非法设备进入监测区域，并通过电子设备的定位提取设备在监控区域的坐标，实时对比坐标变化，根据坐标变化、运动轨迹获取所监控设备的行为。设备行为获取主要包括以下3 个步骤：

（1）确定电子设备模型，采集场景模板。根据设备安全等级划分模块对不同安全类别的设备或其他特殊或新型设备进行深度学习训练，形成电子设备模型，然后将监控区域内的图像记录作为比对模板。

（2）识别并定位区域内电子设备。先对步骤1采集的环境模板中的设备进行提取，判断其中电子设备的种类、数量和位置；然后对图像采集记录的实时画面进行分析，实时识别并定位区域中的电子设备，判断是否有新的授权设备或非法设备进入监测区域。

（3）提取监测区域内设备坐标，与模板比对分析。先根据步骤2 中对环境模板和实时画面中电子设备的识别定位，分别提取相关设备坐标；然后将实时画面中电子设备的坐标位置与环境模板中电子设备坐标进行比对，以此判断环境模板原有设备的位置变化情况；再根据监测区域内对电子设备的定位，来计算具体设备的坐标变化，确定设备的移动轨迹。若监测到原有电子设备发生移动或有新的设备进入监测区域，对其进行记录，并记录监测区域内不同安全类别设备的移动轨迹、位移时间、设备行为画面等关键信息，形成记录日志。其中，对于与模板比对后未发生变化或位移较小在可设范围0.1 m 内的设备不进行记录，有变化的设备形成的记录日志的时间频率预设为0.2 s。具体时间间隔可根据不同环境及需求进行调整。

2.3 威胁等级划分

敏感区域威胁程度可根据电子设备的安全类别和设备的不同轨迹行为划分成四级，如表1 所示。

表1 敏感区域电子设备威胁等级对照表

（1）一级威胁：原有普通设备在监测区域内移动。

（2）二级威胁：新的普通设备进入监测区域，原有敏感设备在监测区域内移动。

（3）三级威胁：原有普通设备被移出监测区域，新的敏感设备进入监测区域。

（4）四级威胁：原有敏感设备被带出监测区域，非法设备进入监测区域。

对于确定的威胁等级，结合日志记录，进行智能语义描述输出，具体是针对监测区域内确定的威胁等级，输出相应文字和语音告警信息。例如，有非法设备×××进入，则输出的描述性语音和文字为“四级威胁：区域内出现非法设备×××”；若出现原有普通设备×××被移出监测区域的情况，则输出“三级威胁：普通设备×××被移出监控区域”；其他情况依据威胁等级输出相应的语义描述。

2.4 预警响应

根据评定的威胁等级与相应的语义描述作出相应预警处理，具体预警措施参照表2。在预警措施中，记录的日志供管理人员随时查看。

表2 具体预警措施对照表

（1）一级威胁预警措施：输出设备运动轨迹。

（2）二级威胁预警措施：输出设备运动轨迹，闪烁警示灯。警示灯持续闪烁一定时间后自动关闭，此处预设为30 s，也可以根据具体需求对闪烁时间进行设置。

（3）三级威胁预警措施：输出设备运动轨迹，闪烁警示灯，声音警报。此处闪烁的警示灯不会自动关闭，需要管理人员确认后进行手动关闭。对于声音警报，不设置警报间隔，从而达到持续警示的效果，也可根据具体需要设置警报间隔。

（4）四级威胁预警措施：输出设备运动轨迹，闪烁警示灯，声音警报，通知安保部门。此处闪烁的警示灯不会自动关闭，需要管理人员确认后手动关闭；对于声音警报，不设置警报间隔，从而达到持续警示的效果，也可根据具体需要设置警报间隔；将持续通知安保部门，并经安保部门相关人员确认收到消息后，结束通知。

3 电子设备监测识别与定位实现原理

采用深度学习模型Inception 网络对电子设备进行分类[10]。Inception 网络通过卷积分解法对卷积层进行分解，并通过卷积层降维减少通道数，同时去掉了全连接层，使用多层感知器和全局平均池化，增加了网络对尺度的适应性，进一步提高了网络非线性能力。

基于Inception 网络对电子设备进行分类，首先对区域采集的电子设备图像，根据设备安全等级进行标签化预处理，并建立电子设备类型样本库；其次通过搭建人工智能分析平台，对电子设备图像进行反复学习与深度网络训练，形成电子设备分类模型；最后识别过程将测试特征图像与设备类型样本库进行比对，并将普通设备（授权）、敏感设备（授权）和非法设备（未授权）的分类结果进行输出反馈。若发现有新设备或非法设备进入，则启动报警功能并记录，同时将其扩充到现有样本库。电子设备分类识别实现过程如图2 所示。

图2 电子设备分类识别过程

采用Faster R-CNN 方法[9]对电子设备进行定位识别，主要是在视频帧或图像中实时识别目标电子设备，并定位出所识别设备的位置。Faster R-CNN 结构主要由区域建议网络（Region Proposal Network，RPN）和Fast R-CNN 两部分构成。在电子设备检测的过程中，原始图像通过Faster R-CNN共享网络提取特征后，分别送入RPN 和Fast R-CNN中进行处理。

在网络训练过程中，损失函数Loss 需要达到收敛。损失函数所计算的是实际输出结果与期望输出结果之间的距离，计算结果越小，说明结果与实际结果差距越小，训练效果越好，准确率越高。Faster R-CNN 损失函数及函数优化目标表达式分别为：

式中：pi为预测目标概率；为坐标向量；Φ5为输入特征图组成的特征向量；为需要学习的参数；λ为函数优化目标表达式系数。最终w*可由梯度下降法求得。

Faster R-CNN 方法同样需要在使用前进行有监督学习，对大量目标电子设备的图片进行标注，通过标注使计算机能够识别目标设备的名称和外貌。对目标电子设备的已标注样本进行训练后，通过实时判断监控画面，标记输出目标电子设备的位置，实现对场景内该类别电子设备的实时识别及定位。如果发现存在如设备行为获取部分所描述的异常，则进行记录并报警。针对每一帧图像的具体处理流程如图3 所示。

图3 每一帧图像的具体处理流程

针对每一帧图像的具体处理流程描述如下：

（1）由图像采集模块采集环境模板，只在开机准备工作时采集一次。

（2）持续采集监控画面的帧图片，对帧画面中电子设备进行识别并定位。根据环境模板与实时画面的比对结果，判断是否出现新设备。

（3）若出现新设备，则判断设备的安全类别是否属于普通设备、敏感设备或非法设备。

（4）根据设备的安全类型以及威胁等级划分标准，确定威胁等级。

（5）根据确定的威胁等级进行相应的预警处理。

（6）若在比对中未识别到新设备，则对帧画面的电子设备进行坐标提取，并与前一帧的画面比较坐标是否发生变化。

（7）若无变化，则对该帧画面的处理结束。

（8）若有变化，根据设备移动情况以及威胁等级划分标准，确定威胁等级，并在实施相应的预警措施后，结束对该帧画面的处理。

4 电子设备轨迹行为验证

把识别结果中的物体目标中心位置的连续变化连接成轨迹，结果如图4、图5、图6 和图7 所示。其中，图4 为3 台电子设备移动轨迹的融合图，从上到下依次为显示器、手机、鼠标。图5 为手机拍照时的手机移动局部放大轨迹，图6 为办公室显示器搬动时的局部放大轨迹，图7 为鼠标操作时的局部放大轨迹。横坐标、纵坐标均归一化为[0,1]区间，用于表示目标中心点在图像中的相对位置。每秒采集10 帧图像进行识别，共采集3 s，获取目标在图像中的相对位置后，连接并绘制成轨迹图。

图4 多设备移动轨迹

从图4、图5、图6 和图7 可以分析得出，不同目标电子设备具有不同特点的移动轨迹，不同行为有不同的轨迹特征，可以通过包含时序信息的多维轨迹对电子设备安全状态与人员行为进行区分。

图5 手机拍照移动轨迹

图6 显示器搬动移动轨迹

图7 鼠标操作移动轨迹

5 结语

本文从敏感区域信息安全监测与防护需求出发，通过设备安全级别划分、设备行为获取、威胁等级划分以及预警响应过程，实现对敏感区域电子设备的监测识别与定位。本文提出的电子设备监测识别与定位手段可以为敏感区域电子设备的管理提供增强的安全手段。后续研究中，在方法层面上需要优化网络模型，提高对设备识别的准确率和检测速度；在应用层面上需要考虑形态各异的设备特征、动态变化的复杂场景，以及人员行为、业务安全等方面的异常检测，从而为关键信息基础设施及其敏感区域提供增强的物理环境安全与网络信息安全保障。