基于云计算的大数据挖掘内涵及解决方案研究

2020-01-02 23:31
数字通信世界 2020年3期
关键词:预处理数据挖掘传统

毕 刚

(中国人民解放军91033部队,青岛 266000)

0 引言

在我们所生活的信息爆炸,生活便利的时代,云计算和大数据深刻影响改变着我们的生活,并改变了我们国家的市场经济的发展模式,改变了传统数据挖掘的缺陷,并与云计算相结合,为用户提供了迅速又高效的数据。但是这种大数据的挖掘在我国的发展起步较晚,发展有些不完善,所以笔者先为大家简单介绍下大数据的挖掘,并为它的发展提出几点建议,希望能够帮助我们国家将这一块的工作做得更好。

1 大数据挖掘的基本介绍

为了能够帮助大家对大数据挖掘有一个更清晰的了解,笔者接下来为大家简要介绍下大数据挖掘。

1.1 发展背景

因为社会和科技的不断发展,技术不断进步、数据的产生也越来越多,在为了追求有效数据的目的下,开始进行大数据的挖掘。我们知道,传统的数据挖掘并不具备当下这个大数据时代的相关环境技术,而现在的大数据挖掘更多是依赖于现在的云计算、物联网和其他的高科技技术的发展[1]。它与传统的数据相比较,是一种较为成熟的应用了,它针对大数据的特征和现在进行数据挖掘面临的问题,进行相应的改进和矫正,在不断的完善和发展。我们现在所说的大数据挖掘,更多的也是基于云计算而进行相应的技术整合而实现的。

1.2 相应对象

传统数据挖掘和现在的大数据挖掘的对象存在很大的差异,因为它们处理的环境本身不一样,所以造成了传统数据主要是结构数据,而大数据挖掘的对象除了这些的结构数据,还包括系统等一些的传感设备产生的仿真数据,相比较前者,可以说搜集的源头更多,当然信息也是更复杂,但采集方式也不会太过受限,站在被动地位,它的采集范围更为广大,速度也更快,但是信息的准确性并不太高[2]。

1.3 挖掘深度

大数据挖掘和传统的数据挖掘的挖掘深度进行比较,我们能够轻易发现,前者的可以说是更为深入,因为它相比较传统数据对特定领域的结构化数据进行的挖掘,它利用了云平台集合成的多种计算模式而展开数据挖掘并开展实时分析和处理,帮助大数据可以大规模而又快速的进行分析和交互处理。

2 解决方案

有了上面对大数据挖掘的基础了解,现在笔者为大数据挖掘现仍存在的问题进行方案探讨,希望能够提出的几点意见,能够帮助我国的大数据挖掘的发展水平有一个更大的推进[3]。

2.1 数据预处理

采用先进的技术和平台对数据进行预处理,不再是传统的静态数据的处理,而是成为能够根据数据的变化实现动态数据的预处理。可以采用多种计算模式进行自动识别和采集融合,加强并行的计算等能力,完成数据的同步运算,让数据能够得以及时完成。

2.2 数据存储管理

与传统利用关系数据库进行数据模拟、结构化数据的存储来说,现在的大数据挖掘应该更多采用列或行来进行存储,拒绝从前的僵硬数据管理,实现灵活且可拓的数据动态存储,不能像以往数据由系统内部为其进行存储模式的定义。可以采取Spanner系统,这样子能够确保数据结果的统一,还可以让关系数据的模型的兼容效果达到预期的目的,不会阻碍到数据存储的准确性,也能够对同步跨数据中心的复制提供帮助,实现动态数据的直接存储[4]。

2.3 数据挖掘展示

对于大数据挖掘来说,进行数据挖掘展示是很重要的,它需要可以提供给人们一个直观的反映,且又因为是大数据,所以以前的展示方法并不适用,那些方法也只是使用数据简单且数量小的情况,并不适应现在的一个大数据大信息的情况。对于现在的大数据挖掘到的信息可以采用文字或者报表以及动画等方式进行有关的效果展示让其具备较好的可视化的效果,帮助人们对采集到的信息有一个更清楚的认知,达到自己想要的目的。

3 结束语

大数据的出现和存在,为我们的生活带来了多种多样的便利,它的价值和未来前景都是值得大家一起期待的,并且与此同时,在大数据进行发展完善的时候,传统数据的管理方法或是一些思维方式也都在进行不同程度上的变革,这对我们来说既是机遇又是挑战,就看我们是如何把握了。即使大数据挖掘的发展还是存在一些问题亟需解决,但它相比较传统的数据挖掘,可以说是一个十分有效的应用,能够满足我们现代生活的更高需求,为我们提供更多的便利,但科技就像是一把双刃剑,我们需要正确运用这把科技,让它发挥出更有利于人类的效果。

猜你喜欢
预处理数据挖掘传统
KR预处理工艺参数对脱硫剂分散行为的影响
改进支持向量机在特征数据挖掘中的智能应用
求解奇异线性系统的右预处理MINRES 方法
饭后“老传统”该改了
污泥预处理及其在硅酸盐制品中的运用
探讨人工智能与数据挖掘发展趋势
基于事故数据挖掘的AEB路口测试场景
同样的新年,不同的传统
郑国明 立足传统 再造传统
基于预处理MUSIC算法的分布式阵列DOA估计