数据挖掘技术在经济统计中的应用

2018-01-23 21:26李爱民
环球市场信息导报 2017年14期
关键词:应用性决策树数据处理

李爱民

数据挖掘技术作为现代统计分析技术之一,在经历统计中的应用具有很大的优势,同时由于其自身特点,可以一定程度上提升数据深加工的效率。时代在发展,面对当前这个庞杂繁琐的经济统计体系,高效率的先进现代化处理手段的应用已经成为了一种趋势,这些技术的应用会改善我国当前数据庞杂繁瑣难以“深加工”的现状。笔者拟将对数据挖掘技术在经济统计中的应用进行分析。

数学挖掘技术的相关介绍

数据挖掘技术的主要内容。所谓数据挖掘(Datammmg),又译为资料探勘、数据采矿。它是数据库知识发现(Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

数据挖掘技术的发展历程。从20世纪70年代开始,平均的通讯量以每年几倍的速度增长。一直到1995年,以Web技术为代表的信息发布系统,爆炸式地成长起来,成为目前Internet的主要应用。数据挖掘技术发展的第三个阶段是EC(Electronic Commerce),即电子商务阶段,IBM、HP和Sun等国际著名的信息技术厂商已经宣布1998年为电子商务年。随着SaaS(Software as a servlce)软件服务模式的出现,软件纷纷登陆互联网,延长了电子商务链条,形成了当下最新的“全程电子商务”概念模式。也因此形成了一门独立的学科——数据挖掘与客户关系管理硕士。

数据挖掘技术在经济统计中应用的优势

工作效率较高。数据挖掘技术在经济统计中的应用是存在很大优势的,由于其自身操作特点,工作效率会较其他技术来说会高出很多。数据挖掘技术作为一种数据深加工技术,其本身是具有很强的目的性的,在实践活动的应用中,一般会有两种表现形式,即对积累的经济统计数据进行高效化处理以及对现有的经济统计数据进行高效化分析,不论是哪一种,都深深地体现了数据挖掘技术在经济统计应用中的高效性。

综合应用性强。数据挖掘技术不同于其他现代数据处理手段,其并不是单一的数据处理技术,而是一个数据处理系统,所以在系统中可以完成操作者对数据的多种分析需求,具有很强的综合应用性。随着社会的发展,经济管理部门对数据的需求量日渐庞大,但由于其所在部门中分工不同,对数据的处理需求也不尽相同。而数据挖掘技术则很好地适应了这一现状,作为一个数据处理系统,数据挖掘技术刚好可以满足不同部门的不同数据处理需求,具有很强的综合应用性。

宏观数据库可作为数据挖掘技术应用的支持。数据挖掘技术的实现不同于其他的现代化数据处理技术,因为数据挖掘技术有宏观数据库作为支持,在实际应用中与其他现代数据处理技术相比具有很大的优势。当前经济管理体系的运转对数据有着不同的需求,但是当前的数据采集手段仍然具有很大的局限性,这一问题严重影响着经济管理部门做出的决策。而数据挖掘技术有宏观数据库作为支持,就能在很大程度上改善当前的数据收集现状。

数据挖掘技术在经济统计中的应用方法分析

预处理方法。虽然数据挖掘技术有宏观数据库作为支持,却并不能完全代替数据收集系统的作用,数据挖掘技术仍然是基于数据采集系统的数据深加工手段,数据预处理是主要应用方法之一。数据预处理的主要内容包括——数据的不真实、不准确、不正确、不同经济体系间数据差别较大等问题。只有将数据挖掘技术应用到预处理后的数据中,才能得到实际应用中所期望的处理结果,满足不同经济管理部门间的数据处理需求。

决策树方法。在通过数据挖掘技术获得所需的数据处理结果后,对数据的整合和分析就显得尤为重要。分析数据的输出作为数据处理的关键环节之一,对经济管理部门做出的决策有着直接的影响。决策树是常见的分析方法之一,首先需要利用训练集建立并精简出一棵决策树,进而利用构建完毕的决策树进行数据输出的分类,同时还需要注意后续的“剪枝”环节。

集成化处理方法。集成化处理方法主要分为模式集成和冗余问题两方面。由于当前的信息采集主要源于民间或者一线数据处理部门,在后期的数据应用过程中需要对数据和相应模式进行集成化处理,便于后期应用。同时对于处理好的数据也要进行冗余清除,以保证数据库中的数据量保持在一个相对较低的水平。

本文首先对数据挖掘技术的主要内容和发展历程进行了介绍,并分析了数据挖掘技术在经济统计中应用的优势,主要包括——工作效率较高、综合应用性强、有宏观数据库作为数据挖掘技术应用的支持,并就几种应用方法(预处理方法、决策树方法、集成化处理方法)进行了分析。希望可以起到抛砖引玉的作用,在大数据时代中,为我国经济统计方面的发展做出贡献。

(作者单位:驻马店农业学校)endprint

猜你喜欢
应用性决策树数据处理
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
一种针对不均衡数据集的SVM决策树算法
决策树和随机森林方法在管理决策中的应用
TD-LTE无线通信系统在核电应用性探讨
基于决策树的出租车乘客出行目的识别
人的行为方式在产品设计中的应用性研究
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
重视学校结核病暴发的应用性研究
基于肺癌CT的决策树模型在肺癌诊断中的应用