自动气象站数据质量控制体系设计

白水成，李社宏，周　林

(陕西省气象局，西安　710014)



自动气象站数据质量控制体系设计

白水成，李社宏，周林

(陕西省气象局，西安710014)

摘要：数据质量是影响自动气象站观测业务发展的一个瓶颈。重新定义了自动气象站数据质量，分析了影响自动气象站数据质量的因素，设计了自动气象站数据质量控制体系，并对体系的各组成部分进行了详细阐述。自动气象站数据质量控制体系由质量控制流程、质量控制标识码、数据质量评估三部分组成，其中,质量控制流程又由数据生产阶段、数据传输阶段、数据检查阶段组成。自动气象站数据质量控制体系的核心是在减少疑误数据产生的前提下，对观测数据进行全生命周期控制和评估。

关键词：自动气象站；数据质量控制；体系

近年来，为了适应中小尺度、短时临近精细化天气预报和特殊行业服务业务需求，地面自动气象站建设规模不断扩大，观测资料时空分辨率不断提高。截止目前，我国已建成各类自动气象站(AWS)5.7万多套。AWS 观测资料具有站点分布密集、地形差异大、测站环境恶劣、数据采集和传输自动化程度高、资料实时性强、中小尺度天气现象明显等特点, 因此其质量问题比人工常规地面站(CMWS)观测资料显得更复杂和严重[1-4]。传统的质量控制方法主要根据气象学、天气学、气候学原理，以气象要素的时间、空间变化规律和各要素间相互关联的规律为线索，分析气象资料是否合理[5-11]。还有学者[4]发展了一种利用要素数值预报场对观测数据进行质量控制的技术。目前，我国自动气象站数据质量控制业务发展较快，多个省份开发了省级数据质量控制系统[12-13]，中国气象局气象探测中心开发了综合气象观测系统运行监控平台(ASOM)[14]，国家信息中心开发了气象资料业务系统(MDOS)质量控制系统[15]。另外，新型自动站业务软件(ISOS)也设计了部分质量控制功能。虽然地面观测数据质量控制工作已经作为一项基本业务在国家、省、台站三级开展，但地面观测资料，尤其是区域自动气象站资料利用率还很低，基本只做存档或过程总结使用，没有进入数值模式改善数据结果，很大程度上造成资源浪费。主要原因有三方面，一是目前的地面观测数据质量控制主要集中在对观测数据进行筛查，没有从源头上进行控制；二是为了避免将极端天气观测资料滤除，各类阈值设置的较为宽泛，只能将粗大误差过滤出来；三是目前的质量控制业务政出多门、规则库不统一。针对目前地面观测数据质量控制工作中存在的问题，对数据质量进行了重新定义，分析了影响数据质量的因素，提出了一种全新的自动气象站数据质量控制体系模型，并对体系的各组成部分进行了详细阐述。

1自动气象站数据质量定义和误差来源

1.1数据质量定义

在传统意义上，对地面观测数据质量的要求是代表性、准确性、比较性[16]。近年来，各类数据质量控制业务均是围绕数据准确性开展，采用各种算法对观测数据进行甄别、筛查，并将质控过的数据打上正确、可疑、错误等标识码。随着地面观测自动化的逐步实现，以及社会各界对气象预报服务产品要求的不断提高，对观测数据质量的要求除了代表性、准确性、比较性外，还增加了完整性和时效性。完整性是指实际观测到的正确数据与应观测到的正确数据的比率，提高完整性就要尽可能减少观测数据的错误率和缺测率。时效性是指观测数据到达资料使用者的时间，提高时效性就要尽可能的缩短数据传输和质量控制的时间。新的数据质量定义不但要求剔除错误数据，还要求尽可能减少错误数据。

1.2影响数据质量的因素

从数据准确性方面来说，气象观测资料可能存在3类性质完全不同的误差：随机误差、系统性误差、过失误差(偶然误差)。随机误差主要受大量微小随机因素影响，测量误差大小和符号没有一定规律，且无法估计，因此无法避免。系统性误差包括仪器误差、方法误差、操作误差等。在自动气象站数据观测过程中，可能引起系统误差的事件包括计量检定不及时、设备选型不标准等。过失误差是由观测过程中的非随机事件如设备维护不规范、测量仪表失灵、设备故障等引发的测量数据严重失真现象。影响观测数据代表性的因素主要是站址选择不规范、探测环境被破坏等。影响观测数据比较性的因素主要包括观测时间、观测仪器、观测方法和数据处理等方面的不统一。影响观测数据完整性的因素比较多，如设备维护、设备检定、设备故障等。影响观测数据时效性的因素包括通信线路、报文解析、质量控制、数据入库等。

2自动气象站数据质量控制体系总体框架

现有的数据质量控制主要建立在对观测报文及观测数据进行分析的基础上，质量控制效果有限，如3 ℃以内的气温误差很难被发现。为了全面提高自动气象站数据质量，结合前面对数据质量的定义及对影响观测数据质量因素的分析，提出建立自动气象站数据质量控制体系这一概念。自动气象站数据质量控制体系包括三部分：质量控制流程、质量控制标识码、数据质量评估(见图1)。质量控制体系的实施，需要在现有的业务系统中增加一个状态文件，将数据生产阶段各环节的质控信息传到各级质控中心。

图1　自动气象站数据质量控制体系基本结构示意图

2.1质量控制流程

质量控制流程是对观测数据进行全生命周期质量控制，主要包括三个阶段：数据生产阶段，数据传输阶段，数据检查阶段。数据生产阶段是对观测数据离开采集器前的各个环节进行质量控制，数据生产阶段控制环节包括站址选择、设备选型、设备安装、设备维护、设备维修、计量检定、数据采集等。数据传输阶段是对观测数据离开采集器到达资料使用者之间各环节的处理时间进行控制，确保观测数据及早到达资料使用者，传输阶段的环节包括数据传输、报文解析、数据入库等。数据检查阶段是对数据报文和状态报文进行解读，数据报文的控制方法采用MDOS系统的质控方法，MDOS系统已投入业务应用，在此不作详述。

2.2质量控制标识码

质量控制标识码主要是为资料的使用者提供有关资料的质量信息。质量控制流程各阶段的每个环节在参与质量控制过程中，均留有标识，这些标识随报文一起上传，最终形成一个标识码(可信度)。可信度用百分数表示，100%表示完全可信，0%表示完全不可信。各阶段的标识码和最终的标识码与观测数据一起提供给用户，用户根据需要自主选择不同质量的数据。

2.3数据质量评估

数据质量评估包括两部分：一是对质量控制的结果进行统计分析，二是评估质量控制的能力。质量控制评估可按月、季、年进行，并出具评估报告。

3质量控制流程设计方案

3.1数据生产阶段

3.1.1站址选择自动气象站建设时对站址环境有明确要求，特别是对国家级自动气象站。现实中，由于特殊服务的需要，如为农服务、交通服务、旅游服务等，所选站址不一定达到标准要求。另外，随着社会经济的发展，部分站点的探测环境还有可能被破坏。鉴于以上两点，每年要对探测环境进行评估，并将评估分数录入观测系统。

3.1.2设备选型不同型号的设备观测数据质量不同。虽然气象部门规定只有获得准入许可的设备才能进入气象观测系统，但是由于特殊服务的需要，部分没有获得许可证的设备也进入了气象观测系统。在设备安装阶段，要将设备型号录入观测系统。

3.1.3设备安装设备安装规范与否，对观测数据的质量有很大影响。如地面温度传感器，规范要求一半埋入土中，一半裸露在空气中，安装稍不规范，就会造成5 ℃以上的误差，因此应制定严格的设备安装验收制度。另外，设备安装期间，观测数据不准确，因此设备安装完成后，要将安装起止时间录入观测系统。

3.1.4设备维修设备故障是造成错误数据的重要原因之一，及时高效的维修能够极大提高观测数据的质量。维修往往具有滞后性，维修过程中，要对故障的发生时间进行判断，维修结束后，要将故障的起止时间录入观测系统。

3.1.5设备维护及时维护是确保观测数据准确的重要手段之一。每一类设备都应建立一套维护流程，明确维护时间。超过维护时效的仪器，观测数据值得怀疑。在维护期间，部分要素的数据是失真的，维护结束后，要将维护的起止时间录入观测系统。

3.1.6检定校准检定校准是确保观测数据准确性的一道重要防线，超过检定期的设备，数据质量严重值得怀疑。在检定过程中，观测值也不可信，在检定结束后，要将检定的起止时间和检定出的系统偏差录入系统，并将系统偏差叠加到观测值中。

3.1.7数据采集中国气象局印发的《第二代自动气象站功能规格书》中要求，采集器应具备监测电路，对观测系统主要部件的运行状态进行监控。目前ISOS软件系统中生成状态文件AWS_M_ST_IIiii_yyyyMMDD.TXT，但文件还没有上传。对台站来说，观测数据错误无外乎两种原因，一是设备故障，二是外部因素干扰。加强对状态数据的应用，能够及早发现设备故障。为了与现有业务软、硬件对接，在自动气象站数据质量控制体系中，需要对现有状态文件内容进行扩充，将数据生产阶段其他环节的质控信息写入该文件，并上传至质控中心。

3.2数据传输阶段

观测数据从台站到达资料使用者，至少要经历以下传输过程：原始数据从台站传到省级信息中心，再从省级信息中心传到国家级信息中心；原始数据被质控后，疑误数据从国家级信息中心传到省信息中心，然后连同省级的疑误数据一并传到台站；台站对疑误数据甄别后，再将结果反馈至省级、国家级信息中心；质控过的数据最后进入数据库，供使用者使用。总体来说，在整个过程中要经历数据传输、报文解析、数据入库等三个环节。依据现有的信息网络技术，数据在传输、解析、入库等过程中丢码现象很少，本阶段影响数据质量的原因主要是网络中断。为了提高数据传输质量，建设双传输线路是非常必要的。为了便于评估，需要将原始报文的到报时间和质控后数据的入库时间作为质控码的一部分录入数据库。

3.3数据检查阶段

数据检查阶段除了对数据报文进行判断外，还需要对状态文件进行解读。由于数据生产阶段设备维护、维修，检定校准等环节的质控信息具有滞后性，因此数据检查阶段的质量控制要分三个进程同时进行，第一个进程对过去1小时的数据进行控制，第二个进程对过去24小时的数据进行控制，第三个进程对过去1周的数据进行控制。由于数据生产阶段的质控信息一般有人工参与，相对比较可靠，因此在数据检查阶段，一旦发现观测数据在生产阶段被标识为错误，便可不对该数据进行算法控制，直接标识为错误。

4质量控制标识码设计方案

质量控制标识码分为过程标识码和最终标识码，不同阶段的标识码在可信度指标中所占权重系数不同。各阶段的标识码见表1。

表1　质量控制流程标识码

数据生产阶段的各个环节决定了观测数据的代表性、准确性、比较性、完整性，同时影响到数据的时效性，因此是数据质量控制的核心。生产阶段总的权重系数P的计算公式为

P=P0P1P2P3P4P5P6P7P8P9。

(1)

数据可信度指标(L)计算公式为

L=PC，

(2)

式中，只有生产阶段和检查阶段的权重系数进入了可信度指标计算，传输阶段没有进入，这是因为数据传输阶段的各个环节除对时效性影响大外，对其它质量特性影响很小。

5数据质量评估方法介绍

对观测数据质量的统计分析，用户可根据需要依据质量控制标识码对数据的代表性、准确性、比较性、完整性、时效性以及可信度进行统计、分析，统计方法和技术已经比较成熟，不做详细介绍。对质量控制能力的评估，可通过对国家级自动气象站的质控结果进行分析得出，因为国家级自动气象站有人值守，运行管理规章制度较为健全，数据质量可以人工核实。

6结语

依据现实业务需求重新定义了数据质量的概念，分析了影响数据质量的因素，设计了自动气象站数据质量控制体系框架结构和标识码，提出了评价数据质量的可信度指标，并对数据质量评估方法进行了介绍。自动气象站数据质量控制体系非常庞大，虽然在设计过程中尽量考虑与现有业务体系相衔接，但仍需对自动气象站现有软硬件、数据质量控制系统进行修改。建设这样的系统，不但需要各方面的专家和技术人员，还需要建立健全各项规章制度作保证。

参考文献：

[1]Shafer M A,Fiebrich C A, Arndt D S, et al. Quality assurance procedures in the Oklahoma Mseonet work[J].J Atmos Oceanic Techenol,2000, 17(4):474-494.

[2]Fiebrich C A, Crawford K C.The impact of unique meteorological phenomena detected by the Oklahoma mesonet and ARS Micronet on automated quality control[J].Bull Am Meteor Soc, 2001, 82

(10)：2174-2187.

[3]陶士伟, 徐枝芳.加密自动站资料质量保障体系分析[J].气象,2007,33(2)：34-41.

[4]陶士伟,仲跻芹,徐枝芳,等.地面自动站资料质量控制方案及应用[J].高原气象,2009,28(5)：1202-1209.

[5]徐枝芳,陈小菊,王轶.新建地面气象自动站资料质量控制方法设计[J].气象科学,2013,33(1)：26-36.

[6]刘小宁,任芝花.地面气象资料质量控制方法研究概述[J].气象科技,2005,33( 3)：199-203.

[7]QX/T 118—2010地面气象观测资料质量控制[S].

[8]韩海涛,李仲龙.地面实时气象数据质量控制方法研究进展[J].干旱气象,2012,30(2)：261-265.

[9]任芝花,许松,孙化南,等.全球地面天气报历史资料质量检查与分析[J].应用气象学报，2006，17(4)：412-420.

[10]封秀燕,何志军,王荷平,等.自动气象站实时资料质量控制开放式平台设计[J].应用气象学报，2010，21(4)：506-512.

[11]熊安元.北欧气象观测资料的质量控制[J].气象科技,2003,31(5)：314-320.

[12]窦以文,屈玉贵,陶士伟,等.北京自动气象站实时数据质量控制应用[J].气象，2008，34(8)：77-81.

[13]傅娜,陈葆德,谭燕,等.上海自动站气温资料的空间质量控制与特征分析[J].大气科学学报，2014，37(2)：199-207.

[14]李雁,梁海河,孟昭林,等.自动气象站运行效能统计[J].应用气象学报，2009，20(4)：504-509.

[15]中国气象局.实时历史地面气象资料一体化试点实施方案[Z].2014.

[16]中国气象局.地面气象观测规范[M].北京:气象出版社,2003.

文章编号：1006-4354(2016)03-0042-05

收稿日期：2015-09-02

作者简介：白水成(1980—)，男，河南渑池人，硕士，高级工程师，从事气象探测技术研究。

基金项目：西安市气象局科研项目“自动气象站数据质量控制方法研究(Xp014-07)”

中图分类号：P412.1

文献标识码：A

白水成，李社宏，周林. 自动气象站数据质量控制体系设计[J].陕西气象，2016(3)：42-46.