关于自动转报系统服务器单网卡运行时网卡故障的处理

李丽

摘要：DMHS系统是由北京航管科技有限公司研制开发的用于AFTN/SITA格式电报存储交换的通信系统。大连空管站使用的是DMHS-H96路自动转报系统，于2014年7月引进，2015年8月，在该系统试运行期间日常巡检过程中，值班员发现双服务器互联网线出现了告警提示，针对此问题对两台服务器链路进行进一步的检查工作，找到产生告警的原因，并根据实际情况提交了解决方案，最终排除安全隐患。

关键词：DMHS；物理结构；网卡

一、背景描述

1、DMHS-H系统物理结构

96路H型转报系统由两台HP DL580 G7服务器，两台同步单元，两台CISCO交换机及6台异步单元组成。两台服务器之间通过COM口使用一条DB9交叉线连接，这条串口交叉线用来做双机检测；一块集成网卡使用网线分别与两台交换机相连，承担同步报文数据、配置参数等信息以及服务器对外的通讯工作。

其中，每台服务器有一块网卡，包含两个网口， eth0口连接交换机1、eth1口连接交换机2，交换机1与交换机2互联，实现了双网运行模式。但是当网卡硬件故障时，该通信方式便会无效。

具体结构图如图1所示：

2014年1月引进的DMHS-H96路自动转报系统服务器间的拓扑结构如上面所述，在试运行期间基本稳定，值班员每日对该系统进行两小时定时巡检，并详细记录运行信息。

二、事件描述

1、事件起因：

2015年8月，在设备巡检的过程中，值班员发现DMHS-H系统服务器监控软件显示两台服务器通信异常，无法进行数据同步工作，主机与备机中均显示网络状态为：“？”，表示系统通信故障，需进一步检查故障原因。

此时检查主备机数据同步信息发现，主备机中的数据及修改信息不能進行同步，同步指针中显示未同步信息在逐渐增加，此现象同样说明通信故障。

通信线路故障情况下，可以采取应急切换操作，在主机上执行双机切换，执行后主机提示信息为“无法进行切换，由于通信异常造成”，应急切换操作失败，需进一步处理查找切换失败原因，经排查发现主机找不到对等机。

对综上结果进行分析，均可以判断两台服务器间通信发生了异常，但仍需要进一步检查测试，确定造成该异常现象的原因并加以解决。

2、排查过程

根据MNG工具中提示的告警信息，需要对两台服务器的通信进行检查，首先检查系统中对于双机信息的配置是否有误，如果配置信息出错，可能会造成通信中断，检查命令为：#cat dmhs_afs.ini，返回结果显示双机的配置信息均完整有效，没有出现丢失或者错误的情况，可以排除双机参数的配置问题。

第二步：检查网卡状态，查看是否可以找到网卡，以及网卡的配置参数是否有效，检查命令为：#ifconfig，执行后结果显示找不到网卡端口，没有相应的配置参数，需要进一步检查网卡配置是否存在，分别检查ETH0和ETH1的网卡配置情况，结果显示网卡配置参数正常有效，那么根据目前情况，可以采用重新启动网卡的方式，看是否可以排除故障，命令为#service networkrestart，重启网卡结果显示，网卡端口不存在，重启失效，此时网卡状态显示停止工作。

通过上述的网卡检查工作，显示找不到网卡硬件信息，通过命令重新加载网卡驱动，仍然无法重启网卡，遂初步判断是网卡板卡故障造成。需要联系HP售后服务人员，进行检测并更换网卡硬件。HP服务人员到达现场后，更换一块新网卡，重新启动服务器加载网卡信息，由厂家工程师远程维护网卡配置参数，并进行存储后，服务器的通信状态均显示正常，双机数据同步以及切换测试也恢复正常。至此，该通信状态异常的故障彻底排除，恢复通信。

三、解决方案

单块网卡的运行模式下，一旦网卡硬件故障，则该服务器的通信将会彻底中断，所以解决单块网卡独立，真正实现双网状态运行是必要的。

通过研讨决定每台服务器增加一块外置网卡，每一块网卡中的一个端口连接一台交换机，运行过程中，一旦一块网卡出现故障则另一块网卡仍会在网络中承担通信业务，不会造成服务器的中断，真正实现了一主、二备的工作模式。

四、过程实施

在系统的结构建设中，96路DMHS-H自动转报系统原配置一块网卡，现在按照单网卡故障的解决方案，在以后的系统建设中，每台服务器均可以配置两块外置网卡，实现网络信号的一主、二备的传输模式，两块网卡分别加入两台交换机环境，形成双环保障。

1、每台服务器均配置两块网卡，分别为系统集成网卡一块，使用网口ETH0、ETH2，外置网卡一块，使用网口为ETH4，将ETH0连接交换机1，ETH2作为双机互联网口，ETH4连接交换机2，这样实现了通信的双环路，将ETH1网口设置为备用网口，如果双机互联网口ETH2出现故障，可以使用ETH1作为备用网口工作，如此，节点中任意的网口或者网卡故障，均不会影响通信业务的传输，保证了信号安全稳定的传递工作。

2、参数设置

在etc/sysconfig/network-scripts/route-eth0添加192.168.11.1/2

在etc/sysconfig/network-scripts/route-eth1添加192.168.44.1/2

在etc/sysconfig/network-scripts/route-eth2添加192.168.33.1/2

在etc/sysconfig/network-scripts/route-eth4添加192.168.22.1/2

重新启动网卡：/etc/int.d/network restart

至此，双网卡设置成功，系统恢复正常，保证了服务器的双网双待功能。

五、总结

通过此次的故障排查和维护，目前DMHS-H转报系统已经可以稳定安全的运行，成功的解决了单网模式下的薄弱环节，实现了网络状态的双网模式，在整体的硬件结构拓扑中均实现了一主、二备的运行模式。大大提高了96路DMHS-H自动转报系统的安全运运行系数。在今后的运行过程中，技术人员会更加细致的对设备进行巡检和维护工作，详细记录认真分析，为设备的稳定运行提供有效的维护工作。

参考文献：

[1]DMHS-H系统部署手册

[2]DMHS-H系统硬件手册

[3]DMHS-H日常软件基本维护手册endprint