利用中间件辅助机顶盒运维

背景

作为目前山东有线高清机顶盒的重要扩展功能，DVB的HTML5中间件在双向业务中占据了非常重要的地位。我公司的智慧系列业务中，有大量项目运行在H5中间件之上。

对于面向于全体双向网用户的中间件功能，属于全省统一开发的平台，且其上仅仅包含页面显示和用户数据输入功能。其数据的分析处理和负载均衡由后台服务器进行，则用户终端出现平台错误的概率极小，况且一旦出现功能性故障，技术人员可以在后台调整，对用户来说是无感知的。

现状

但济宁的智慧系列业务，不同项目面向不同的特定用户范围，进而形成了不同的运维方法。以某个项目为例，每个月都会有大型会议活动，在此期间约有1000个会议室开会，网络运维和平台维护工作中涉及到4000个onu、机顶盒、摄像头等设备，以及对应的供电网络和光纤网络。

大多数主持会议的老干部年龄偏大，当平台出现故障时，由于用户年龄、文化程度、身体素质的不同，没办法在电话或群聊中准确描述故障现象，给一线人员带来了相当巨大的工作量。

经过细致的研究以及部分乡镇的试运行，我们设计了三种工具方法，经长时间的统计，将我公司相应平台的一线人员维护量降低了五层。

机房到服务器方向

图1 http延时及在线率

我们利用smoke ping、ping pong 等开源代码，针对不同的项目建立服务器的服务实时在线率监测，如图1所示。实时监测相关核心服务器，可以在重要会议期间或者压力测试期间，安排专门的同事同时监控大量服务器的web、ssh、ajax、mysql等业务的响应情况，即使发现问题进行排除。

另外，由于7x24小时的监控过于浪费人力，我们同时利用rratool工具绘制各服务器的流量、cpu、进程数、存储空间等数据，方便随时调用旧数据。

RRA每天、每周、每月都分别提供精确的数据，但几天前、几周前等同类数据的旧数据将会覆盖，只保留平均值。为了保证数据的安全，防止数据量过大时系统自动覆盖旧数据，我们编写了数据备份脚本，由服务器自动定期执行。

图2 服务器端口流量

机房到站点方向

在济宁智慧平台的运维中，从机房到站点方向，我们着重关注站点设备的在线率。中心机房中，我们用两种方法监测。

一是选用相应的免费专业软件7*24小时监测，每小时刷新一遍。以此保证站点设备的在线情况，一旦遇到个别设备显示深色，则安排相应的维修人员去现场排除故障。如果遇到某个区域大面积红色，则乡镇汇聚设备或干缆异常的可能性较大，如图3所示。

这种方式可以在大型会议等活动前提前排除线路和设备故障，避免了开始会议后才由各个乡镇大量上报故障，此时再去维修可能已经来不及了。

二是使用BAT脚本实时测试。@echo off (for/f %%i in (qian.txt)do for /f "tokens=3 delims=，" %%j in ('ping%%i^|findstr /i "平均"')do echo %%i %%j) >> wei.txt

上述提到的统一监控平台可以访问整个平台的所有设备，一旦被攻击将会危机整个平台，因此为了保证平台的安全，现场只能访问有限的设备段。

维修人员处理好故障后，没办法登陆监控平台查询各个设备和服务的恢复情况，只能挨个设备去ping。因此一个实用的小脚本，可以大量减少工作人员的工作量，加快确认设备恢复情况。

站点到服务器方向

我们自主开发了中间件HTML5程序，将其嵌入已有平台中。

平台上的排障代码执行心跳检测，每秒执行一次setTimeout ( newlist,1000)，每秒均分析一次此机顶盒到平台对应服务接口之间的状态，例如我们测试某村用户信息同步功能，就使用代码var mydate

同时在电视机屏幕上将机顶盒目前的运行状态及平台故障，也就是上述代码的各种报错信息用简易文字进行说明并实时显示，则现场用户在使用中遇到简单故障，可以直接按照屏幕上的提示操作；遇到复杂故障，屏幕会提示故障关键信息，方便用户电话中将故障情况报告给运维人员。

图3 某县站点设备在线情况