云计算背景下的大数据处理技术研究

田密

（延安职业技术学院 网络信息中心，陕西　延安　716000）

0 引言

近几年来，在互联网技术发展背景下，人们每天需要获取大量的信息和数据，这是在过去30年无法想象的事情，面对着爆炸式的“大数据”信息，需要有专业的技术人员进行数据信息整合，云计算背景下的大数据处理技术因运而生，转变着计算机系统的数据运算方式，改变着人们的生活。

1 云计算与大数据背景

要想更好地了解云计算发展背景，首先需要对云计算的概念进行了解，从定义上来看，云计算是一种利用互联网而开展的动态化虚拟信息服务系统。“云”相当于是互联网络的意思，充分利用互联网络上的虚拟信息资源，可以大幅度地提升计算能力，能够达到每秒钟10万亿次的运算速度，人们可以利用互联网时代下云计算的方式来模拟出自然界的各种变化状况，对天气的变化状况进行实时性监控和预测，探索更多的未知领域和风险。从狭义上来讲，云计算可以存储大量的数据和信息资源，并且通过互联网络的技术手段，将收集到的信息进行收集和整理，方便人们统一对数据实施管理，在“云”上面，人们可以快速地获取自己想要的信息，与此同时，“云”还具有十分强大的存储功能，相当于互联网上的“移动硬盘”，因而云计算的本质就是将信息进行数据化的计算和存储，对海量的信息数据进行整理[1]。而“大数据”则是2008年提出的一种互联网行业语言，所谓大数据，主要指的是海量数据的集合体，通过普通的计算机处理技术是无法对所有数据进行动态化计算和处理的，必须要有更为强大的信息处理技术才能够对“大数据”类型的信息资产进行处理。据有关IT专家估计，三年以后也就是2020年，全球数据总量将呈现出爆炸式、发散式以及离散式的发展特点，而云计算技术的出现，正好为大数据的处理提供了支持与帮助，在大数据时代的发展背景下，云计算技术也有了更为广阔的发展空间[2]。

2 云计算与大数据处理技术

2.1 数据存储技术

在全球云计算发展背景下，主要有三点关键的大数据处理技术，其一是数据的存储技术，数据的存储技术也是整个云计算功能实施的基础，所谓存储技术，顾名思义就是要提高计算机数据存储过程中的安全性，阻止外来者的非法访问以及黑客的攻击，避免用户的信息数据遭到破坏和销毁，同时还要具有快速的可读写能力，意思是说用户可以快速找到自己所需要的信息文件，并且可以对文件的内容进行填写，通过分布式的计算机存储技术，将所有信息数据存储在互联网络“云”服务器当中，进行集中化的统一管理，还可以将比较重要的数据信息进行多次云备份处理，提高冗余存储技术的可靠性，实施数据加密技术，对客户的重要文件进行密码保护，目前Google集团设计并开发的GFS开源技术，是全球云计算体系中应用的最为广泛的数据存储技术[3]。

2.2 数据管理技术

而云计算背景下的数据管理技术主要指的是对相应数据信息进行整理、编码以及组织、检索与维护等技术工作，目前已经进入到了数据库管理的运算处理阶段，使得用户在进行信息操作的时候更加快捷，将数据进行结构化处理，提高数据信息存储的独立性，在进行数据信息的统计和描述的时候，应当重点把握好不同数据之间的关系，在提高信息数据共享度的同时还可以进一步对数据的内容进行扩充，最后数据将统一由DBMS数据库管理系统进行处理，数据库的中心管理控制系统可以让不同的操作用户对数据进行使用，方便用户的随存随取，提高数据资源的共享性，所以说数据管理技术需要具有非常强大的大数据操控管理能力，现在互联网市场主要是以BigTable分布式数据存储系统为主的HBase开源处理技术作为大数据的数据管理技术[4]。

2.3 虚拟化技术

在云计算背景下，虚拟化技术一般指的是数据资源的管理技术，把一些人们能够看见的计算机处理资源进行虚拟化的整合，例如对计算机的服务器处理系统以及硬盘的存储功能进行抽象虚拟化的整理，让那些在实际空间结构上无法进行连接的数据处理装置可以在虚拟的空间中占据一定地位，像是内存资源以及服务器资源的虚拟占有部分不再受到传统空间结构框架的物理束缚，在日常的虚拟化技术应用中，人们常常会将虚拟化技术应用到企业生产的零部件操作施工当中，提高资源的可利用性，而通常情况下，虚拟化技术的应用主要是为了能够提高云计算系统的运算能力以及对资源的存储能力，在不同的操作层级下建立起一个虚拟层，进而解除不同层级之间的耦合性关系，从而达到分离信息资源的目的[5]。

3 基于云计算背景的大数据处理技术应用

3.1 大数据采集

基于云计算发展背景下的大数据处理技术的应用主要分为五点，其一是大数据的采集，一般将大数据的采集形式分成两种，分别是分布式的数据采集方式以及集中式的数据采集方式，这两种数据采集方式有它们各自不同的特点，分布式的数据采集方式相对来说要灵活一些，但是集中式的数据采集方式的全局性会好一些，而在真正的大数据采集过程中，需要根据不同数据的特点来选择合适的数据采集方式，如果大数据呈现出了结构式、半结构的特点，可以使用云计算技术对数据实施分布式的采集，使得池内的数据可以同构化，为用户做好数据分类。如果数据存在于不同组织对象之间，而且组织间又是相关独立的，那么也可以采用集中式、分布式相混合的数据处理方式[6]。

3.2 大数据存储

在面对云计算时代背景下需要处理的庞大数据时，过去老旧的计算方式已经不能满足大数据时代的计算存储要求，而在云技术的基础上，可以及时区分数据的属性，对于不同类型，不同资源属性的数据都可以单独地进行存放。因而云计算技术的数据存储优点就是能够查询数据的属性，然后根据数据的属性列即可完成对不同属性数列的存储，进而大幅度地提升云计算系统的数据处理工程量以及数据处理的速度和效率，将采集到的数据信息按照相关的数据属性展开列式的数据存储，保证数据库中处理系统当中相邻数据间的同质性程度更好，进而提升对数据信息的压缩效率，降低不必要的存储空间，获得更多的数据储备量。

3.3 大数据联机分析

在云计算背景下，大数据的联机分析主要指的是对数据进行的多维整合处理，这和大数据库的组织形式是相同的，也就是通过互联网联机的方式，将云计算系统数据库同大数据的数据处理及整合技术连接起来，进而解决并完善了计算机处理系统的运算功能，在对大数据进行分类和处理的过程中，就可以完成对数据的实时运算，提高数据库整理系统的运算速度，在大数据联机分析的过程中，更加注重对数据信息的决策分析，同时为客户提供更为形象化的数据处理结果，采用分布式并行的计算方式，对大数据当中的综合性数据进行处理，进而构建一种多维化的分析模型，应用多维立体化的分析方式，使得数据处理的最终结果更加立体[7]。

3.4 大数据挖掘

在云计算技术的发展背景下，又创新提出了大数据挖掘技术，这种数据挖掘技术可以说是对联机分析技术的一种拓展和延伸，进而获得更为内在的数据信息，找到用户的信息偏好，让客户可以找到自己内心所希望了解的信息，提高信息挖掘的广度和深度，并将客户想找到的数据信息通过某种符号或是概念表达出来，一般在云计算技术的处理背景下，大多采用的是分布式的并行挖掘方式，将大数据进行并行排列处理，同时对并行排列的数据进行拆分整理，对于不同属性的数据由专门的计算处理系统负责，在同一时间内完成对大数据信息的规模化计算和分析，设计并建立MapReduce云计算系统数据挖掘机器，在Map中进行分模块的数据处理，在Reduce中展开数据结果的规约[8]。

3.5 大数据可视化

在基于云计算的大数据处理环境下，数据挖掘技术引起了许多人的关注，与此同时，大数据可视化技术的出现对于数据挖掘技术的开发和创新可以说是锦上添花，所谓数据的可视化技术，顾名思义，指的就是人们能够通过图形或者图像的方式，将数据展现在人们面前，对数据进行可视化的信息处理，更重要的是用户可以非常形象地观察到数据与数据之间的作用关系，通过图像展示的方式，让人们能够加深对数据信息的理解，使大数据挖掘技术更加具体化，使人们可以更加方便地获得想要的信息，提高对信息数据的检索速度，获得数据更加直观，更为内在的信息，这样可以方便用户建立立体化的多维模型，使得大数据挖掘处理技术可以在云计算的处理背景下发挥出更大的作用[9]。

4 结论

综上所述，大数据时代的发展，需要计算机系统的运算能力、存储能力得到更好地提升，云计算技术发展背景为大数据的发展带来了机遇和挑战，伴随着大数据处理技术的日益成熟，使得数据的采集和存储更加方便和快捷，同时还可以联机操作分析，挖掘更深层次的信息，为用户提供可视化的数据结果[10]。

参考文献：

[1]祝孔儒.对基于云计算背景下的数据存储技术的几点探讨[J].科技展望,2017,(05):16.

[2]龚旭.基于云计算的大数据处理技术探讨[J].电子技术与软件工程,2015,(10):198.

[3]张焰,李杨.用大数据武装“云”:基于云计算的大数据处理技术[J].中国新通信,2015,(04):87-88.

[4]孙海军.基于云计算的大数据处理技术[J].信息安全与技术,2014,(11):61-63.

[5]任梁.试论云计算技术下的大数据处理系统[J].电子技术与软件工程,2014,(16):27.

[6]张蕾.基于云计算的大数据处理技术[J].信息系统工程,2014,(04):121.

[7]李晓飞.基于云计算技术的大数据处理系统的研究[J].长春工程学院学报(自然科学版),2014,(01):116-118+125.

[8]吴华芹.基于云计算背景下的数据存储技术[J].计算机光盘软件与应用,2013,(07):28-29.

[9]云计算市场四雄争霸 亚马逊招兵买马建新军[J]. 软件,2017,38(08):12+42.

[10]陈晓燕,姜蕊,刘俊,张鲲. 云计算在数值天气预报中的应用[J]. 新型工业化,2016,6(10):66-69.