应用于市域社会治理的多源数据清洗及可视化技术与实践

朱文怡

(南通创越时空数据科技有限公司,江苏 南通 226000)

0 引 言

随着大数据时代的到来,市域社会治理越来越向信息化、智能化方向发展。在此基础上,“智慧政府”逐步发展,政府各部门对于“以数据为驱动,重塑政务信息化”的需求、对信息共享及业务协同的需求日趋旺盛[1]。党的十九届四中全会通过的《中共中央关于坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化若干重大问题的决定》提出了“加快推进市域社会治理现代化”的战略目标,指出要以完善“科技支撑”的社会治理体系为战略目标[2]。

科技的基础在于数据,数据来自于政府各个机构。将数据资源进行有效整合,按社会治理需求进行清洗,完成可视化,使政务数据从分散走向集中、从部分走向整体、从碎片走向整合[3],进而实现多部门数据共享应用。因此,作为社会治理服务的基础,社会治理数据的清洗及可视化就成为一项基础却极具意义的工作。

1 社会治理数据的来源及特征

1.1 数据来源

社会治理数据由城管、文广旅、教育、应急管理、自然资源、市政园林等政府机构进行提供,数据来源广泛。

1.2 数据特征

由于数据来源不一,原先的应用各不相同,社会治理数据存在数据覆盖面广、数据格式多样化、空间数据坐标系不一致等诸多特征。

(1)数据覆盖面广

市域社会治理的数据不仅有来自交通、市政园林、城管、文广、资规、应急等多个机构的数据,还有能为所有部门服务的基础地理信息数据(如河流、道路等)。

(2)数据格式多样

社会治理数据的原始数据格式包含文档、表格、图片、矢量数据等。多样化的存储方式,需将数据格式转变为统一的空间数据,才能更好的服务于社会治理。

(3)空间数据坐标系不一致

空间数据坐标系包括2000国家大地坐标系、1980西安坐标系、地方坐标系等。空间数据坐标系不一致给市域社会治理带来困扰,需统一坐标系才可在同一视图下进行显示。

2 数据清洗及可视化处理

2.1 数据清洗及可视化处理技术路线

将数据进行分类、清洗后进行可视化处理,实现由非空间化数据到空间化、再到可视化的过程,使数据从“看不见”到“看得见”,再到“用起来”(图1)。

图1 数据清洗流程

2.2 数据分类

按存储格式分类,包括文档数据(如word文档或pdf文档)、表格数据(如Excel表格或空间表格数据)、图片数据(如JPG、PNG等)、矢量数据(主要为mdb、gdb、shp等格式存储的空间数据)、影像数据(如TIF、IMG等)等。

按来源部门或应用版块分类,包括交通(如机场、道路、公交线路等)、水系(如江海、河流等)、文旅(如学校、图书馆等)、应急(如化工区、危化品企业等)、自然资源(如湿地资源、生态红线等)等。

按空间信息分类,分为矢量数据、含地理坐标的文档(表格)数据和不含地理坐标的文档(表格)数据。

按成果要素几何类型分类,分为点状数据、线状数据和面状数据。

以危化品企业数据为例,原数据来自多个部门,如安全生产监管、应急处置、生态环境监管等;其格式有矢量数据、具有空间信息的文档数据、含有企业名称的文档数据。不同格式的数据需要采用不同的方式完成数据清洗,最终进行整合发布,才能满足社会治理的需求。

2.3 数据清洗

数据的可视化需要经过抽取、清洗、转化、挖掘等一系列过程才能展示潜在价值信息[4]。因而,数据清洗是数据可视化的前提。

数据清洗是对数据进行审查和校验的过程,目的在于删除重复信息,纠正存在的错误,并提供数据一致性[5]。审核校验即对数据进行分析,包含数据质量、数据格式、可用性等。通过数据分析,筛选待处理的数据,并进行清洗,使之符合成果需求。数据清洗过程中分析与清洗交互进行,迭代循环,实现数据有效、准确、现势性高,并保证格式一致性。数据格式一致性包括数据成果格式一致性和坐标系统一致性。社会治理一般选用2000国家大地坐标系作为统一坐标系。

以危化品企业为例,因其来源和需求版块不同,采用的数据清洗方式也各不相同(图2)。

图2 危化品数据清洗流程

(1)将数据按矢量数据、含地理坐标的文档数据、不含地理坐标的文档数据进行分类。

(2)对矢量数据的进行坐标转换,统一坐标系至2000国家大地坐标系。

(3)对含地理坐标的文档数据,通过坐标展点,转换为矢量数据,并进行坐标转换,统一至2000国家大地坐标系。

(4)不含地理坐标的文档数据,首先根据企业名称与经验证的POI数据进行关联,关联成功的企业实现自动空间化;关联失败的企业,借助地址分词匹配、互联网地图以及企业信息查询软件等工具进行空间化处理。

(5)将采用不同空间化处理方法得到的数据进行整合,通过企业名称完成数据去重,从而得到危化品企业数据成果。

2.4 数据可视化

利用地理信息系统平台,创建时空地图,可实现数据可视化[3]。利用ArcGIS软件,完成数据地图服务发布,使之具备唯一服务地址(URL),互联网用户通过调用URL可进行访问,实现数据可视化。

地图服务包括动态地图服务、栅格切片服务、矢量切片服务、三维模型等,不同的地图服务各具特点,在实现数据可视化时,需根据服务需求进行选择。

动态地图服务是对矢量数据进行直接发布,通过调用URL,用户可进行属性查询、空间查询等操作。栅格切片服务,实现了同一幅地图不同比例尺的显示,请求访问速度较为快速。矢量切片服务数据信息接近无损,数据体积小,样式可根据用户需求进行定制,服务更为灵活。通过三维建模,将二维数据转变为三维数据,数据更加立体直观,可为社会治理辅助规划和决策提供更为精准的服务。

以危化品企业为例,其数据可视化主要借助动态地图服务和矢量切片服务。动态地图服务可让用户获取企业的位置和属性信息,矢量切片服务可满足用户调用服务后对其样式定制的需求(图3)。

图3 危化品企业数据可视化流程

(1)动态地图服务发布

在ArcMap内加载危化品企业数据图层,通过共享发布GIS服务。社会治理前端运营人员通过调用发布的URL,在前端显示危化品企业(图4)。

图4 危化品企业动态地图服务效果图

(2)矢量切片服务发布

在ArcGIS Pro内加载危化品企业数据,创建矢量切片包,并上传至ArcGIS Online或Protal内,完成发布,实现服务共享。社会治理前端运营人员通过调用发布的URL,在前端显示危化品企业;并且借助相应工具,对其进行符号定制。

社会治理前端运营人员可根据需求选择调用的服务,满足数据可视化需求,实现对企业生产状态、周边生态环境等的全面、精细监管。

3 结 语

随着市域社会治理现代化的不断深入,多源数据清洗和可视化的需求也将日趋旺盛,技术也将日臻完善。本文以危化品企业数据为样例,简单介绍社会治理中多源数据的清洗和可视化的技术、方法,但由于样例数据应用方式较为单一,未采用三维建模实现可视化,仍需进一步实践。另外,随着三维可视化、云计算、大数据等新技术的飞速发展,多源数据经清洗及可视化处理,必将为社会治理现代化提供“可用、可靠、可控”[6]的数据基础,为政府机构日常管理提供辅助决策支撑,为城市建设提供科学准确的地理信息服务[7],最终提升城市社会治理精细化、智能化、社会化、专业化水平[8]。