基于3DGIS与大数据技术的隧道施工信息化管理平台研究

2021-12-01 09:48林国庆闵世平
现代测绘 2021年4期
关键词:海量分布式隧道

林国庆,闵世平

(中国中铁科学研究院有限公司,四川 成都 611731)

0 引 言

随着我国的经济不断发展,对交通网络提出了更迫切的要求,建设现代化的交通网络是国家经济建设和社会发展的必然要求,因此我国的隧道建设作为交通网络的重要组成部分也在不断地发展当中。目前我国的隧道建设数量不断增长,长隧道的建设也在以往的基础上有所增加,施工难度也在不断地加大。如何保证隧道施工的安全、质量与进度是隧道建设各方共同关注的问题[1]。

近年来,随着我国“信息化”和“互联网+”战略的提出和大力推进,信息化技术在隧道施工过程中的应用得到不断深入,在隧道施工的安全、质量和进度等方面起到了一定的促进作用[2]。

现行的信息化系统大多是基于单机或者单服务器的二维信息化管理系统,但随着信息化技术的飞速发展,各类信息化新技术、新设备、新软件在隧道施工中得到更广泛的应用[3],伴随而来的是,数据量快速增长,大量类型各异的三维信息化数据的出现,各类信息化技术及系统独立运行造成的数据不共享等问题,诸如此类的问题已然成为信息化技术在隧道施工中得以更深入广泛应用的瓶颈,亟待尽早思考和解决。

(1)三维信息化数据的展示、查询与应用问题。目前,随着隧道建设项目在勘察、设计、施工中越来越多的使用新技术、新设备,随之产生了越来越多的三维信息化数据,传统的二维信息化系统已经如法满足三维数据的展示、查询与应用,且二维信息化系统,对信息的展示不直观,信息表述效率低下,因此需要采用一种简便高效、所见即所得的三维信息化展示、查询和应用手段。

(2)多源信息化数据集成管理、共享与应用问题。隧道施工涉及设计、建设、施工、监理等多家单位,信息来源于多方,且各方对隧道施工过程产生的各类信息都有很强的分享需求;同时,施工中涉及的数据包括安全、质量与进度等信息,如何通过各种信息间的数据互联互通,提供更加全面的信息,从而为施工的安全、质量、进度等的决策提供支持的需求也愈发强烈。但目前隧道施工中的信息化系统,大多为独立运营模式,在实际工作中需要不断切换各系统使用所需数据,且各系统间数据大多无法共享,影响了决策的客观与全面,也大大降低了各方间的协作效率和工作质量。因此需要一个灵活方便的基于网络共享的信息化数据管理集成平台。

(3)海量异构信息化数据存储、运算与应用问题。随着隧道施工新技术、新设备以及物联网与互联网的发展,隧道施工产生的信息化数据量呈爆炸式增长,达到TB级甚至PB级,数据类型包括影像、视频、文本、网页等非结构化数据,传统的关系型数据库管理与单机运算方式已经无法满足海量异构数据的存储与运算要求。因此对于这些海量异构的信息化数据的存储、运算与应用需要一种更加强大且快速的基于大数据的软硬件架构体系。

为有效解决以上问题,需要利用三维GIS技术[4],实现隧道信息的三维展示、查询与应用,通过搭建三维隧道施工虚拟场景,并将隧道施工过程中的安全、质量与进度信息数据与三维地理坐标相关联,通过一个统一的三维场景,实现多源隧道施工信息的集成管理,并通过大数据技术实现多服务器对三维海量异构数据的分布式计算、存储与共享,开发基于三维场景的隧道施工空间大数据管理平台,实现对隧道施工海量异构信息的高效存储、组织、管理与共享。

1 三维隧道施工场景搭建

三维地理信息系统(3D GIS),是将地理信息系统(GIS)技术和虚拟现实技术相结合的技术,它将GIS的空间查询、分析和决策功能与逼真的三维可视化功能有机地结合在一起,增强了GIS系统的可视化效果和三维空间分析能力,是进行全方位、多层次、多要素时空分析的基础[5]。

随着隧道勘察设备的提升,航测、无人机、三维激光扫描仪等新设备的出现,勘察成果已经实现三维采集与制作,设计人员也已基于三维成果进行BIM三维设计,提供三维BIM设计成果。因此二维信息系统已经无法满足隧道施工项目的管理,需引入三维地理信息系统,搭建三维隧道施工场景平台。

1.1 施工数据分析

隧道施工项目,涉及项目的勘察阶段、设计阶段及施工阶段,因此需要对隧道涉及的这些阶段的数据进行统一集成与管理。对施工中涉及的数据进行分析如下。

(1)勘察阶段数据:地形数据、影像数据、地形图、地质三维BIM模型数据、地质勘察数据、环保、水文等矢量数据以及相关的属性数据。

(2)设计阶段数据:设计图纸及资料,设计BIM模型数据。

(3)施工阶段数据:安全、质量、进度等施工业务数据以及施工图档文件等数据。

1.2 施工数据处理

对各阶段的数据进行分析后,可总结归纳为3类:空间几何数据、属性数据、文件数据。其中存在数据格式不统一、坐标系不统一的问题。

数据格式包含:各种软件制作生成的BIM模型数据,地形数据,影像数据,矢量数据等。

坐标系包括:WGS84经纬度坐标系、工程独立坐标系、CGCS2000大地参考系下的投影坐标系等。

三维地理信息系统软件使用超图地理信息软件,数据处理的大致流程入如图1所示。

图1 数据处理大致流程

1.2.1 格式转换

首先对所有数据进行格式转换,使用SuperMap iDesktop 9D使之形成统一的数据格式,存入超图文件型数据源UDB中,形成超图空间数据集。

1.2.2 投影转换

利用已知控制点推算各坐标系之间的转换参数,将不同坐标系的数据统一转换为WGS1984经纬度坐标系,方便系统进行统一加载、叠加显示。

1.2.3 数据入库

利用SuperMap iDesktop 9D将所有数据统一存入空间数据库中。

1.2.4 缓存制作

对地形、影像、三维模型配置场景后生成利于在Web上传输的S3M缓存。生成缓存的时候需要通盘考虑模型使用场景,用于优化生成缓存涉及的各类参数。

1.2.5 数据发布

利用SuperMap iServer发布制作好的三维场景,如图2所示。

图2 三维隧道施工场景

2 空间大数据技术

隧道施工项目为线性工程,跨度大,因此隧道施工过程中涉及的数据量大、数据类型多样,对于海量异构的隧道三维信息模型与施工过程中的安全、质量与进度信息的集成管理,传统的基于单服务器的二维GIS空间服务已经无法满足海量施工数据的集成管理和共享需求[6],因此需要采用先进的空间大数据技术。

空间大数据技术是通过先进的IT大数据技术与GIS内核技术进行深度融合,为海量空间数据实现分布式存储、计算的能力,从而大幅度提升海量空间数据的管理能力[7]。

2.1 空间大数据支撑技术

当前主流的大数据技术都基于Linux操作系统,这需要GIS基础软件支持跨平台技术,同时在基础云计算环境中也能为大数据存储和计算提供资源的管理和运维能力。

跨平台主要是指程序语言、软件或硬件设备可以在多种作业系统或不同硬件架构的电脑上运作。即在一个熟悉的平台上面开发的软件或者程序,直接可以在其他平台上正常的运行显示而不需要对其原始文件或者原始代码进行修改。基于跨平台技术的软件产品能够满足不同的技术环境、行业应用和用户需求。

云计算的出现,带来了弹性伸缩、按需访问、资源池化、可实例化和成本低廉的计算资源,为解决当今时代GIS面临的挑战提供了新的思路,使得云GIS技术逐渐成为当前GIS领域的研究热点。云GIS指的是由地理空间科学驱动并通过时空原则进行优化的云计算模式,使分布式计算环境中的地理空间科学发现和云计算成为可能。其实质是将GIS的平台、软件和地理空间信息方便、高效地部署到以云计算为支撑的“云”基础设施之上,以弹性的、按需获取的方式提供最广泛的基于Web的服务。

2.2 空间大数据存储

空间大数据存储技术是通过对分布式文件系统和分布式数据库的支持来提升更海量空间数据的存储能力;通过融合业界主流的分布式计算框架,来为传统空间分析算子扩展分布式计算的能力;同时将SOA的服务架构继续实现功能解耦,通过更为精简的微服务架构进行服务拆分,并实现微服务的资源精准匹配和REST API的外部调用;最后在各个终端加强和扩展大数据可视化的能力。

数据存储主要涉及所有的空间数据格式以及大数据技术体系中常用的数据存储技术,如Oracle、HDFS、MongoDB集群等等,它们存储的数据既可以用于数据分析,也来自分析产生的中间数据和最终成果数据。

2.3 空间大数据计算

空间大数据分析计算技术的核心是对传统地理空间分析算子扩展其分布式计算处理能力,也就是希望通过业界主流的分布式计算框架与GIS平台基础内核实现深度融合。目前主流的大数据计算框架以Hadoop的MapReduce和Spark为主。

基于Spark框架空间大数据组件,从内核扩展Spark空间数据模型,不仅基于分布式计算技术重构已有的空间分析算法,大幅提升海量空间数据分析的效率,并且针对大数据研发一系列新的空间分析算法,可直接嵌入到Spark内运行,解决空间大数据分析和应用难题。

2.4 空间大数据可视化

基于传统的显示方式,可视化的性能要依赖的数据库的查询效率、显示硬件的效率等等都无法保证空间大数据正常地显示。这种情况下,需要GIS软件具备快速查询和栅格化的能力,即在服务端根据浏览的范围和比例尺等信息快速地在大量空间数据中进行查询,并快速地渲染为栅格图片,以WebGIS的方式发布并最终呈现给用户。要支持这种能力,就需要基于空间大数据分析处理技术,并行地进行查询和栅格化出图的任务。这基本解决了静态的空间大数据的显示性能问题。动态数据的可视化主要利用分布式集群所提供的更多的资源,发挥GPU、大内存等单机设备的高效的运算能力,不断突破系统硬件资源的限制来提高时空大数据的可视化性能,同时支撑多种可视化展现效果[8]。

3 隧道施工空间大数据平台

根据空间大数据技术,隧道施工空间大数据管理平台以云计算框架为基础,使用虚拟化技术实现平台软硬件的分布式弹性部署,采用超图空间大数据GIS服务引擎,把隧道施工中的海量异构数据导入平台分布式非关系型数据库MongoDB中,通过超图空间数据服务器iServer进行分布式部署发布,通过集成的Spark模块实现海量数据分布式计算,并使用JavaScript编程技术实现隧道的安全、质量、进度的在线填报、管理、统计、分析。整体平台架构如图3所示。

图3 平台整体框架

3.1 支撑层

本平台使用VMware vSphere对基础硬件进行虚拟化,达到按需扩展分配的要求,充分发挥硬件的性能。

3.2 数据层

本平台使用的数据包括关系型数据库和非关系型数据库两种。其中,关系型数据库采用PostgreSQL,用作存储矢量空间数据、BIM构件属性数据、工程文档地址数据等结构化数据;非关系型数据库采用分布式的MongoDB,用作存储BIM模型缓存、地形影像缓存等非结构化数据。

PostgreSQL主要实现在分布式框架下的SQL空间查询功能,通过PostgreSQL数据库管理系统改造传统的关系型数据库,虽然会造成一定的数据冗余,但是可以极大地弥补NOSQL数据库在数据查询方便的不足。

支持瓦片大数据的MongoDB分布式集群,用于构建分布式瓦片数据库。

3.3 服务层

服务层采用超图iServer空间大数据服务器,是基于高性能GIS内核的云GIS应用服务器,提供了空间大数据存储、空间大数据分析、实时流数据处理等Web服务,并内置Spark运行库,降低大数据环境部署门槛。该平台,按照分布式集群的方式进行部署,基础环境使用Linux操作系统。将SuperMap iServer基础应用程序、包含大数据分析服务的扩展模块部署在多个节点上,选择基于分布式数据库系统作为大数据存储环境。利用该平台,对海量影像、矢量及BIM模型进行切图并生成缓存的工作,结果表明分布式计算比传统计算模式性能提升20倍,大大提高了运算速度,节省了时间。分布式部署架构如图4所示。

图4 基于iServer的分布式平台部署架构

3.4 应用层

本平台应用层基于WebGL网络3D绘图协议与JavaScript编程技术以及超图的iClient技术实现的三维GIS客户端开发平台,用于构建无插件、跨操作系统、跨浏览器的三维GIS应用程序。该系统平台主要功能包括:三维模型管理,隧道施工进度、安全、质量管理,地表分析,分布式数据库管理,智能统计分析决策,用户及权限管理等功能。图5所示为各功能模块截图。

图5 隧道施工大数据管理应用平台

4 结 语

本文结合现阶段隧道施工项目信息化管理中存在的诸多问题,利用3DGIS技术构建高精度的隧道施工三维场景,直观的三维管理界面大大简化了施工人员的管理工作[9]。再利用以IT大数据与GIS内核技术为核心的空间大数据技术搭建隧道施工大数据管理云平台,集成管理施工项目涉及的勘察、设计、施工过程中的各类海量信息与数据。平台的分布式部署框架,大大提高了数据的存储与分析能力,大大节省了计算时间,提供了工作效率。平台有效的解决隧道施工项目海量异构信息化数据的管理和应用问题,为隧道工程开展3DGIS与大数据技术的推广应用提供的一套解决方案,提高了隧道施工管理的信息化水平。

猜你喜欢
海量分布式隧道
一种傅里叶域海量数据高速谱聚类方法
海量快递垃圾正在“围城”——“绿色快递”势在必行
预见2019:隧道的微光
神奇的泥巴山隧道
分布式光伏热钱汹涌
分布式光伏:爆发还是徘徊
黑乎乎的隧道好可怕
一个图形所蕴含的“海量”巧题
基于DDS的分布式三维协同仿真研究
LED隧道照明节能改造探讨