面向物联网大数据的处理技术研究

李秀丽，胡会南

（河南测绘职业学院，河南 郑州 451464）

0 引 言

在物联网相关技术持续发展的背景下，社会经济的前进速度较以往有所加快，这也为物联网提供了更加广阔的发展空间。事实证明，物联网在运行期间会形成大量数据，要想使数据得到全面且高效的处理，关键是要升级现有技术，同时丰富处理数据的渠道。

1 核心概念辨析

1.1 物联网

作为依托通信技术、互联网所衍生出的无线网络，物联网能够为人们生活提供极大的便利，其特点主要体现在以下方面。首先是物联网往往搭载了虚拟技术、感知技术等多个技术，可使数据得到快速且高效的传输[1]。其次是物联网延续了互联网的特点，可通过有线、无线网络传输信息。最后是物联网所涉及数据量极大，通常需要使用专业技术才能完成相应的处理工作。考虑到物联网为数据信息所打造的环境为虚拟环境，而且数据传输期间存在风险的情况难以避免，因此大力监管物联网十分重要[2]。

1.2 数据处理

研究表明，物联网数据往往具有数量多和种类丰富等特征。处理不同载体、不同领域数据期间，使用常规技术通常难以取得理想的成效[3]。结合物联网数据所表现出的特点可知，要想使其得到高效处理，关键是要酌情引入物联网相关技术，通过对采集、处理等环节进行整合，确保数据信息能够得到实时共享，这一过程即为数据处理。

2 物联网大数据处理技术探究

在处理物联网数据时，有关人员应意识到数据往往具有复杂性和庞大性的特点，仅凭借现有技术难以保证处理速度与最终效果均达到预期。要想对数据进行系统且高效的处理，当务之急便是以现有技术为基础，依照物联网数据特点，研发更具实用性的全新技术。通过充分发挥数据处理优势的方式，在及时处理信息的前提下确保信息价值可得到最大程度的实现[4]。

2.1 系统架构

大数据处理所用软件包括查询引擎、服务器以及数据源3个部分，其中系统架构如图1所示。

图1 数据处理系统架构

该系统所搭载的连接数据源为Hive、MySQL、Presto，其中Hive负责存储历史数据，MySQL负责对数据进行实时存储及查询，Presto负责执行查询计划。应用服务器所提供的服务以Web服务为主，可通过Presto所提供的JBDC与集群相连，同时运用Java对应用程序进行搭建，为用户查询或是分析海量数据提供便利。另外，服务器还负责接收用户所提交请求，将所接收查询请求发送至对应集群，由集群负责统一处理，待顺利接收到反馈结果，服务器可将结果显示在浏览器界面上，确保客户所提出请求得到最大程度的满足。

2.2 处理技术

2.2.1 云计算

物联网数据难以在日常生活中得到广泛应用的原因主要是现有计算机技术仍存在漏洞，致使处理数据信息的工作无法得到高效开展。此外，考虑到信息时代的特点之一是数据量大幅增加，加之人们对信息的需求往往有所不同，要想使数据信息得到更加充分的使用，前提是立足实际，对处理数据所用的技术进行升级与优化。

作为物联网发展到一定程度时所形成的产物，云计算往往贯穿数据处理的始终，在各个环节均发挥着重要作用，可以说该技术的出现与物联网发展存在极为紧密的联系。现有数据类型主要分为非结构化和结构化数据，不同类型数据所适用处理技术通常存在细微差别，在强调数据多样化的当下，仅凭借传统技术对其进行处理，不仅需要投入大量的精力与时间，还会由于处理难度较大，导致最终效果无法达到预期[4]。云计算的诞生使上述问题迎刃而解，该技术所搭载系统往往由海量处理板块组成，任一板块均可被用来对特定类型或区域的数据进行处理，通过实时汇总处理过程的方式得到最终结果。事实证明，该技术在整理数据、分析数据还有计算数据等方面均有较传统技术更为突出的表现，相关人员可通过该技术对数据价值进行深入挖掘，并通过深度处理的方式，赋予处理数据等工作更符合预期的有效性及实时性。

2.2.2 采集/提取数据

设备终端所用的传感器为无线传感器，可保证采集所得数据经由无线网络被实时发送至服务器及网关，其拓扑结构如图2所示。

图2 无线传感网络拓扑结构

作为物联网数据的固有属性，多样性主要包含3方面内容，一是数据类型多，二是数据规模大，三是数据来源丰富[5]。对数据进行处理前，相关人员先要从海量数据中提取出所需数据，要想保证提取所得数据在价值与质量等方面均有突出表现，前提是要定期更新提取技术所遵循的原理和所使用的算法，通过快速、精准整合数据的方式，使提高处理效率等目标拥有实现的先决条件。

2.2.3 清洗数据

随着信息时代的来临，物联网得到了飞速发展，各行各业所形成数据信息的数量随之增加，要想确保信息可发挥出应有作用，关键是要利用现有技术对信息进行系统且高效的处理，为制定决策等工作的开展助力。考虑到数据来源较为复杂，不仅其可靠性和安全性难以得到保证，有少量错误信息混入其中的情况也难以得到根除，由此可见，筛选并清洗数据势在必行。该环节相关人员可通过现有技术对所掌握数据进行清洗，这样做可有效去除虚假数据和错误数据，随后再使用冗余技术对剩余数据进行去粗取精，获得真实且有效的数据[6]。

2.2.4 处理数据

在确定处理物联网数据所用技术前，相关人员应仔细检查技术是否存在漏洞，在此基础上，通过多维度分析的方式判断数据实用性及有效性。现阶段，对文本信息进行处理时，可供相关人员选用的技术有两种，分别是遗传算法和数据挖掘。

（1）遗传算法。该项技术以生物理论所强调的优胜劣汰为核心，通过随机检索数据的方式，使检索空间得到系统优化[7]。现阶段，该项技术在机器学习、信号处理等领域的使用频率较高。

（2）数据挖掘。在处理信息的过程中，数据挖掘同样发挥着十分重要的作用，由该项技术所衍生出的处理方法如下。一是分类分析，该方法强调以类别为依据，对数据进行划分，在保证数据分类准确的前提下为日后分析数据等工作的开展提供便利。实际工作中，相关人员既可以使用该方法预测指定群体的行为，同时还可以通过聚类分析的方式尽快完成分析数据的工作，以确保数据能够得到使用[8]。二是情感分析，该方法强调以感性思维为导向，从更深层次分析数据，要求相关人员将数据所传达的主观信息作为切入点，在处理自然语言的基础上充分利用现有方法对处理所得的数据进行分析，确保数据所蕴含情感特征能够得到更加直观的呈现[9]。三是空间分析，该方法可以简单地理解为以数据所表现出的空间特征为落脚点，通过全面且系统的分析，得出相应的结论。考虑到物联网数据的来源十分多样化，任一数据均有位置信息对应，因此采集并科学整合空间信息，通常可使处理数据的水平得到大幅提高。四是学习关联规则，该方法的原理相对简单，即通过挖掘数据内在联系的方式为后续处理还有分析等工作的开展提供理论依据。

2.2.5 分布技术

在存储数据期间使用该技术可使存储效果得到保证。对该技术加以使用时，相关人员应对以下内容有所了解。

首先是该技术搭载分布式系统，可在极大程度上降低硬件方面投入的成本，以软件所具有优势为依托，对用户所提出需求进行满足。日常工作中，用户可视情况对代码进行修改，与此同时，由分布式系统负责对修改代码所形成数据进行存储，为数据质量提供有力保障。

其次是酌情引入分布式缓存，可使数据库负载得到控制，通过实时缓存数据的方式解决数据频繁被传递到数据库内的问题。事实证明，这样做不仅能够使数据库负担得到减轻，还可为物联网的稳定、持续运行提供保证，确保物联网所表现出的性能符合预期[10]。此外，数据信息所具有的可靠性与安全性也能够得到一定程度的强化，将其用于数据处理是大势所趋。

最后是以该技术为核心所开发的数据库，在查询数据方面具有突出表现，可保证经过处理的数据尽快得到存储。例如，谷歌系统所搭载的数据库既能够被用来提取、使用数据，还可被用来开发数据，这对在谷歌任职的技术人员而言具有极为重要的意义。除此之外，非关系数据库在近几年也更加频繁地出现在人们的视野中，该数据库的优势主要体现在两个方面，一是增强数据自身的可靠性及安全性，二是通过对存储集群进行构建的方式，使集成处理数据的设想成为现实。

2.2.6 可视化技术

可视化技术在数据处理领域拥有极为广阔的发展空间，相关人员可通过该技术对略显抽象的技术进行转化，确保其能够以更加具象化的状态被展示出来，为人们获取和掌握自身所需数据提供便利，数据价值往往可得到最大化实现。一般情况下，可视技术均强调通过图画、图片等方式对数据进行呈现，如果条件允许，相关人员可酌情引入聚类分析技术，通过聚类分析与可视呈现结合的方式提高数据集合处理的有效性，避免由于人们无法理解数据背后更深层次的含义，致使数据无法得到充分利用。

3 结 论

虽然物联网的诞生在极大程度上推动了经济与社会的进步，却也增加了数据处理的难度。科学使用数据处理相关技术可使处理压力得到降低，在保证处理效果的前提下提升处理速度，以此保证物联网数据更深层次的价值得到充分挖掘与利用。