福建气象高清会商系统故障与应急处理

田功平 曹海 骆慧伦

(福建省气象信息中心，福建 福州 350007)

引言

福建气象高清视频会商系统视频全网达到高清视频会议系统的最高标准1080P，音频采用模拟和数字调音集成控制，系统核心设备采用双机热备，系统稳定性也得到根本保证。高清视频会商系统的启用，使会商的所有细节得到完美呈现，构建了更为人性化的会商环境，进一步提高了预报员交流和决定服务的平台支撑能力。

1 福建气象高清视频会商系统的特点

作为省级会商控制中心，福建气象高清会商系统扮演着上接国家气象局，下连地市、县级气象局的重要角色，是国家气象会商系统的重要环节。福建气象高清会商系统能与中国气象局高清会商系统实现无缝连接，很好地实现了省气象台与中央气象台、市气象局以及县气象局的级联互通。系统能够进行高清视频、高分辨PC信号及音频信号的双向传输，可实现远距离直观、真实的音视频交流，集音频、视频、图象、文字、数据为一体，提供即时通信、视频播放、视频录制保存和回放等，实现全方位的实时多媒体会议，满足日常天气预报会商、电视电话会议、学术交流及技术培训、应急指挥等业务需求，系统的诸多特点影响着系统的稳定性和可靠性。

1.1 网络终端多

福建气象高清会商系统主要包括省、市、县三级高清会商系统。主要由1个省级会商控制中心，1个省台会商主会场，5个省级直属单位会场，8个设区市气象局会场和59个县级台站终端会场，应急车移动终端以及近200个软终端组成。网络节点分布全省各市县，对网络连通性、宽带要求非常高，并且经常要求会商国家、省、市、县几级级联，实现会商的上下转发或交互，有时还要求分层同时召开几个会议，对系统的级联性和控制管理性要求高。

1.2 集成子系统多

福建气象高清会商系统主要由会商网络子系统、MCU会议管理子系统、高清终端管理子系统、DVI矩阵控制子系统、音频矩阵控制子系统、大屏显示子系统、录播子系统、CMA管理子系统和双流PC子系统等9大子系统组成。每个子系统有单独的设备，但又互相集成在一起，线路复杂，如果控制中心9个子系统的任何一个子系统出现故障，就会直接影响到整个系统的正常运行。

1.3 会商频率高

由于气象部门业务的特殊性，每天至少召开1次全国和1次省市级视频会商2场会议，每年召开会议近1000多场，使用频率极高。特别是在遇到台风等灾害性天气期间一天有时召开好几场，一天运行时间持续近10h，系统必须时刻保持完好，对系统的运行稳定性提出了极高的要求。

1.4 视音频质量要求高

目前，省-市-县三级遵循H.264协议高清标准，全网实现H.239数据双流，该系统采用高清视频会议系统的标准1080P，即通常所说的高清晰度电视，画面分辨率有效显示格式为1920像素×1080像素，像素数达到207.36万。其数字1080则表示垂直方向有1080条横向扫描线，字母p意为逐行扫描(Progressive Scan)。帧速率通常为30帧·s-1(FPS)，即HDMI输出为1080p30，省-市-县三级会商达到1080P视频图像效果，使日常会商/会议画面清晰度显著提高，同时，音频方面系统采用C8数字音频矩阵控制，达到ITU 20kHz以上高清效果。

2 福建气象高清视频会商系统应急备份系统设计

一个好的系统，必须要有良好的系统网络、运行稳定性和备份应急能力。根据系统运行和业务特点，主要对网络、核心服务器和终端采取了双备份的应急方案的设计。网络子系统采取了核心网络双链路、双路由冗余热备和自动切换功能；核心服务器MCU采用双机热备，能实现与会者自动重邀，继续召开会议；与会终端采取互为主备设计，确保了与会者快速应急参与会议，从而实现整个系统的稳定、可靠和快速应急。

2.1 福建气象高清视频会商系统网络设计

因为高清视音频传输网络流量大，所以必须要有安全稳定的网络和一定的带宽作保证。国家、省、市和县四级网络带宽都实行MSTP和MPLS VPN双线路，并在双链路基础上实现了双路由冗余热备和自动切换功能，很大地提高了系统的可靠性和可扩展性。高清会商系统主要运行在MSTP网络上，为确保数据流量的可靠传输，当MSTP链路出现故障，VRRP汇聚路由器或主交换机自动将视频会议切换至MPLS-VPN链路，MPLS-VPN链路从standby状态切换至active状态，从而实现网络链路应急。

2.2 高清视频会商系统MCU应急备份系统网络设计

2.2.1 省局MCU双机热备

系统配置中省局MCU为2台RMX2000-Classic，已调试配置热备份，此热备份采用心跳线技术，实现主机一旦故障或断网后，备机将自动从standby状态切换至active状态，并对主机召开会议的与会者进行自动重邀，保证在50s内完成会议重新召开。

2.2.2 各地市局MCU双机热备

现系统配置中市局MCU为2台RMX500C(增加配置1台RMX500C)，此热备份采用心跳线技术，实现主机一旦故障或断网后，备机将自动从standby状态切换至active状态，并对主机召开会议的与会者进行自动重邀，保证在50s内完成会议重新召开。其热备实现的原理与省局RMX2000-Classic热备机制相同。

2.3 高清视频会商系统终端备份系统设计

省级会商控制中心配备2个华为终端和2个宝利通终端，当参加全国会商时，高清华为终端一与华为终端二互为主备，当一个终端无法与会时，备用终端开始启用，国家主站自动呼入，此时视、音频通过矩阵手动切换到备用终端，即正常参加会议；当召开省级会商时，宝利通终端一与转发全国会议的宝利通终端二互为备份，当一个终端无法与会时，备用宝利通终端将可作应急备份使用，实现节点与会终端的应急。省级控制中心高清视频会商终端应急处理运行图见图1。

图1 省级控制中心高清视频终端会商故障应急处理运行图

2.4 高清视频会商系统音频备份系统设计

2.4.1 麦克风应急备份

省局、市局会场基本使用指向型麦克风，应在演讲位置配备应急备份麦克风，可与主麦克风同时输入声音，无论哪个麦克风出现问题，保证有一个麦克风正常输入声音；考虑使用视频会议终端配备全向麦克风作为硬件应急措施，一旦麦克风出现问题后，将全向麦克风连接至终端，保证声音输入；对于省会商大厅，可考虑建设吊顶麦克风来作为应急备份措施。

2.4.2 SoundStructure应急备份

省局会商大厅配置2台SoundStructure C16做双机热备，主、备2台设备通过矩阵连接相同的线缆，当主机无法使用时，可立刻启用备机，利用矩阵将信号切换至备机，使备机顶替主机进行工作。省级控制中心SoundStructure应急备份图见图2。

图2 省级控制中心SoundStructure故障应急处理运行图

3 故障处理与快速应急的实现

由于省级会商系统运行影响因素多，涉及到的故障种类复杂，主要包括视频网络、MCU服务器、视音频处理终端、显示等9大子系统故障，而系统在应急方案上作了很好的设计，从根本上解决了系统在视频网络、MCU服务器和视频终端出现3大故障的问题，实现系统的自动路由和自动备份切换，确保系统主要设备和网络快速应急，确保了系统运行稳定和可靠。在视频会议系统用户端，系统常见显示的是视频、音频和双流3方面的故障。在视频源方面，系统使用了双摄像头实现互为备份的功能；在音频方面，系统使用数字和模拟调音台相互集成兼容实现相互备份的功能；在双视频流方面，系统同样使用了2台笔记本达到相互备份的目的。下面对视频、音频与双流3种故障分步进行快速诊断和处理，实现快速应急。

3.1 音频故障处理与应急

3.1.1 在会议中出现完全听不见声音时

查看终端是否有闭音，如有，取消闭音。

检查网络连通性，如连通中断或连通性不好，采用备用网络线路。

在确认已连接和对方有声音的前提下，可直接把终端声音直接输出到应急音响进行故障应急处理，如有，属于音响设备故障；如没有，则终端故障，可重启终端或启用备用终端。

在确认C8数字调音台出现故障的前提下可把终端声音直接输出到模拟调音台进行故障应急处理。

在确认模拟调音台出现故障的前提下可把C8数字调音台声音直接输出到应急音响进行故障应急处理。

3.1.2 在会议中出现本地发言没有声音时

测试话筒好坏和本地声音是否完好，判断是话筒还是音响有故障，并采取备用话筒或备用音响。

检查MCU演讲者的声音是否打开，若没有打开，请点击取消静音。

检查网络连通性，如连通中断或连通性不好，采用备用网络线路。

把话筒声音直接输出给终端，若仍没声音，则确认终端出现故障，可重启终端或启动备用终端进行应急处理；若直接输出给终端有声音，则可判断为调音台设备故障。

在确认模拟调音台出现故障的前提下可把话筒声音直接输入到终端进行故障应急处理。

在确认数字调音台出现故障的前提下可把模拟调音台声音直接输入到终端进行故障应急处理。

3.2 视频故障处理与应急

3.2.1 在会议中出现完全没有视频影像时

检查测试网络连通性，如不通，采用备用网络线路和备用终端进行应急。

检查本地显示设备，如果确认本地显示设备或线路有故障，则检查连接线或切换大屏显示进行故障处理与应急。

当对方有视频输入时，检查MCU会议管理页面是否设置其为演讲者或返回其视频。

3.2.2 在会议中出现本地没有视频影像时

检查摄像头在本地是否能正常显示，若本地不能显示，则检查连接线，或启用备用摄像头进行故障处理与应急。

检查视频矩阵输入是否正确，重新把摄像头输入给与会终端。

检查测试网络连通性，否则，采用备用网络线路和备用终端进行应急。

3.3 双流发送故障处理与应急

3.3.1 看不到远端的双流PC或双流出现黑屏、蓝屏等

检查视频输出是否正确，如果确认本地显示设备有故障，则检查连接线和重新切换PC双流输出，如果显示设备已坏，可采取切换大屏显示进行故障处理与应急。

检查MCU会议管理页面是否设置其为演讲者，并联系对方是否已发送双流。

如对方双流发送有问题，可查找电脑分辨率设置、输出线路、发送设备及终端设备是否完好以及网络连通性是否完好；如对方发送成功，但接收不到，则本地显示或终端有故障，可采用切换显示、重启终端或使用备用终端等方法进行处理应急。

3.3.2 本地双流发送失败或黑屏、蓝屏等

省市会商时，如果Touch Control设置正确但发送不成功时，可选择网页软遥控或备用软件发送双流；全国会商时，如果设置正确但遥控发送不成功时，可选择采用备用遥控发送。

检查会议终端视频及双流输入，如输入正确发送失败，则终端或网络有故障，检查网络连通性是否完好，可采取备用网络线路、备用终端或重启终端。

如果PC本地不能显示，可查找电脑分辨率设置、输出线路是否完好等问题，并可采用备用电脑发送。

4 结束语

福建气象高清会商系统从系统整体上构建了网络的双链路、MCU服务器的双机热备和视音频处理终端的双备份，从技术上很好地实现了网络线路故障的自动路由、服务器的自动切换和终端的备份应急；对于常见的视、音频和双流故障，提供了很好的故障流程判断方法以及进行故障处理与快速应急，增强了系统运行的稳定性和维护的方便性，提高了系统的快速处置故障能力。