基于RPA技术的软件机器人网络巡检系统的研究与应用

杨志国 程玉红

摘要：本文针对服务器、网络设备、数据库、磁盘阵列需要手动执行命令巡检的现状，通过使用RPA技术、爬虫技术、megacli等第三方工具获取各模块数据并存储，实现了数据库监控自动化和硬件设备状态的实时监控。

关键词：RPA技术 网络巡检 实时监控

一、背景

随着企业信息化建设的不断发展，开滦集团公司已建成拥有几百台服务器设备和网络设备的IT基础设施，支撑着覆盖全矿区的网络及财务、物资等应用系统的正常运行。仅集团公司核心机房就有近300多台服务器、交换机和存储设备，这些设备的巡检和维护已成为技术人员一项繁重的工作任务。目前设备的巡检需要运维人员每天手工远程去逐台检查设备的硬件状态和运行状态，通过人工的方式去检查的工作量较大、属于重复性劳动，却占用了运维人员的大量工作时间，仍然存在着不能及时发现设备问题的现象。数据库备份服务器每天产生200多个备份文件和60多个工作日志，需要每天人工去查看数据库备份文件是否成功备份以及日志是否成功导出，有没有异常情况等，也会占用运维人员大量时间。

软件巡检机器人可以自动巡检服务器设备、网络设备以及数据库备份状态，对设备工作状态进行实时监测，并可以实时查看设备的运行状况，使维护人员能及时了解设备的运行状态，及时对故障进行处理，可以大幅节省运维人员重复劳动的工作时间，从而使运维人员能够有时间去完成更有价值、创造性的工作。

二、意义

通过使用python脚本与rpa软件机器人来获取服务器、交换机、数据库、磁盘阵列等巡检信息，实现了设备的自动巡检;通过数据展示服务，提供了对各模块巡检数据展示、阈值设置、问题告警等功能，可查看巡检设备状态，各模块历史数据;出现问题时及时发送告警邮件和语音提醒，使运维人员及时发现问题和解决问题。

三、系统设计

1、系统总体思路

系统设计分为数据获取与数据展示两部分，数据获取服务通过部署脚本与工具的形式，通过定时任务方式每日启动脚本获取数据并存入数据库。数据展示部分为实时读取数据库相应信息，通过Django的MTV框架渲染到界面进行展示，首页自动刷新显示异常设备信息。

2、系统构成

系统主要分为数据获取服务与数据展示系统，两者独立部署与运行。

数据获取服务分为服务器、网络设备、磁盘阵列、数据库四个模块。服务器模块获取其硬件配置与资源占用率、阵列卡状态等数据，网络设备模块获取其硬件配置、在线状态、端口状态与流量。数据展示系统提供数据展示、页面告警提醒、邮件告警等服务。

四、技术方案

1、系统总体设计

（1）数据获取服务系统结构

数据获取服务系统结构分为服务器、网络设备、磁盘阵列、数据库四部分。

一是服务器模块。物理服务器阵列卡数据监控，在windows与Linux系统中使用megacli工具，获取阵列卡的参数判定阵列卡磁盘状态，获取bbu电池的温度参数获取电池温度;通过python第三方库psutil库，获取cpu、内存、磁盘的利用率与内存、磁盘的已利用大小;通过windows中wmic与 linux中dmidecode工具，获取cpu、主板的生产商等硬件配置信息;通过windows中wmic工具与linux中ifconfig和lspci工具，获取网卡mac地址、厂商与网络连接状态数据;通过python第三方库os库获取服务器操作系统版本、运行时间、当前进程数据。

二是网络设备模块。通过telnet工具连接交换机并执行交换机命令获取数据。获取设备硬件信息，主要包括硬件CPU、内存、电源、风扇、模块、板卡;获取设备在线状态、端口Up/Down/errdisable/disable状态、端口流量等信息。

三是获取支持浏览器的磁盘阵列软件管理系统的网页数据。通过selenium工具登录管理系统获取cookie，使用爬虫技术获取磁盘阵列状态与事件的网页数据。

四是数据库模块。通过tnsping命令获取oracle数据库的监听状态;通过数据库oracle命令获取数据库、连接实例状态、归档模式、表空间信息、会话数、命中率等数据;通过数据库的备份文件与日志获取数据库备份状态。

2、数据展示系统结构

数据展示采用B/S架构，通过网页直观展示信息，数据展示服务系统结构整体分为服务器、网络设备、磁盘阵列、数据库四部分。首页实时展示报错设备的详细异常信息，点击后跳转到指定设备的多条详细数据展示界面，错误信息会标红展示。

一是服务器模块详情页展示包含服务器服务器连接状态、服务器运行系统、raid卡状态、cpu状态、memory内存状态、硬盘的使用状态（C、D、E、F等）、网卡信息、服务器进程等，其中服务器进程支持指定进程搜索，用的是模糊查询进程，输入关键字即可匹配出来相关展示进程。

二是网络设备模块详情页的展示包含网络连接状态、电源状态、板卡状态、风扇状态、cpu状态、模块状态、温度状态、环境状态、其他命令入口（show_cdp_neighbors、show_clock、show_version等共10条命令，进入可查看最新数据和历史数据。

三是磁盘阵列详情页展示包括事件（错误代码、最后一个时间戳记、状态、描述、对象类型、对象标识、对象名）和内部存储器（驱动器、容量、使用、状态、MDisK、机柜标识、插槽）两部分的数据表格展示。

四是数据库详情页展示部分，包括数据库監听和数据库运行部分：监听状态、归档状态、运行状态、会话数数目、数据库实例状态、数据库空间信息表、库缓存命中率、共享SQL和PL/SQL的固定对象命中率、数据字典缓存命中率、数据缓存命中率、Latch Hit内部结构维护锁命中率、日志缓冲区命中率、共享池等;数据库备份部分：错误数据备份表、全部备份数据文件搜索入口等。

五是基线阈值及巡检频率管理界面，用户可根据需要对不同设备的参数进行阈值设置，也可设置整体系统的巡检频率，提高整体系统的灵活性。

五、结论

本系统将RPA软件机器人技术与数据库巡检需求相结合，改变以往数据库依赖手工巡检方式，实现了数据库监控自动化，大大提高了工作效率;在网络巡检系统中将网络设备硬件参数纳入到网络巡检系统当中，通过引入网络爬虫技术实现硬件设备集中监控和管理，自动提取设备信息和告警日志，实现了硬件设备状态实时监控;本系统通过固定脚本实时巡检服务器、网络设备、数据库、磁盘阵列等，相较于以往的手动输入命令查看更加便捷，结果展示也变得更加清晰，实时跟进设备信息，避免设备异常不能及时发现造成的相应连锁错误，在服务器与网络设备运维等方面能够大大节省人力成本，提高了工作效率。

作者简介：杨志国（1978年7月）男，籍贯：河北省辛集市人，汉族，现职称：高级工程师，学历：本科，研究方向：计算机网络，从事计算机专业工作。