智慧校园建设中数据清洗模块的设计

朱杰

随着教育信息化的发展，产生了越来越多的应用，这些应用多种多样，方便使用的同时也造成很大混乱，这就需要通过一定的方式实现它们之间的清洗融合。本文介绍了智慧校园的发展现状、数据标准及清洗规则的建立，以实例详细阐述了数据清洗实现的过程，并对标准数据的使用及数据清洗方式的多样性给出了提示。

1引言

网络信息化建设发展到今天，多数人已经熟悉了这样的环境，大学是网络信息化应用的前沿单位，早就建设了大量相对独立的应用系统如办公、财务管理、教务管理及资产管理等。由于历史与技术的原因，这些业务系统的建设往往是以部门级的建设为主，各业务部门根据自己的需要进行部门级的信息系统建设开发，而各部门的信息化程度各不相同，所用的开发环境和数据库也各不相同，造成数据信息孤岛、数据信息的冗余和不一致，很难在这些信息集上进行整个学校的全面信息查询和决策分析等数据展示、共享与同步更新。要整合各系统的数据，首先要建立一个标准。

2数据标准的建立

采用的数据标准建立原则是：

①向上靠原则：已有国家和部委标准的使用国家和部委标准，没有国家和部委标准的使用教育厅或卫生厅标准，没有教育厅或卫生厅标准的使用学校标准。

②继承性原则：尽量与国家或上级主管部门的标准保持一致性。

③前瞻性原则：以现有系统为基础，着眼于长远的发展需求，使信息标准具有较长的生命周期。

数据元素的质量是建立坚实的数据结构基础的关键。只有对数据正确建立分类和编码，做好标准化工作，确认数据可信，才能够实现对数据有效的管理。

海量数据通过数据标准化方案，对不同来源数据进行查找、检索和比对，查找和检索有关数据对象及其含义、物理位置、特征和使用情况等方面的信息，帮助企业建立企业信息分类编码标准，落实信息化建设的“统一标准”原则，从根本上解决“信息孤岛”问题，为后续的信息系统建设提供指导标准。

3清洗规则建立

建立清洗规则就是确定数据分类标准的来源，确定要哪个系统的哪一部分作为一个类的标准，并使用它去处理其他系统中提取的有关这一部分的数据。经过多个系统多个部分的处理，把全部的系统数据整合到统一的标准，使各系统中的数据相互关联，为数据的查询、分析等提供基础数据环境。

4数据清洗实现

按照学生依教务为标准，职工依人事为标准把教务、人事、财务等数据抽取到数据中心数据库。第一次获取从原始数据表获取，获取的数据全部添加到数据中心对应的数据库表，以后从变动库获取数据，从变动库获取的数据按照变动类型（增加、删除、修改）对数据中心表数据进行更改。

把非标准数据表获取到的数据按照对应关系表转换标准后，写入数据中心相应的数据库表。

5标准数据的使用

通过数据中心标准的数据可以进行关联查询、统计等，形成多种统计报表或图表，产生多种分析数据供用户使用。

查询上面表中某一专业学生缴费情况：

select * from stud_ major left join staff_pay on stud_ major. stid = staff_pay. sid where stud_ major. major=”1011”；

当然根据服务器的处理效率，也可以分别查询单个数据表的数据装入数组或向量型变量，通过程序统计处理，然后给出结果。

6结束语

数据清理方式多种多样，使用时要结合具体情况分析。例如上面的“数据中心人员编号对应表”适合接口系统比较少的情況，扩展时需要添加字段，改为只有“标准编号”“序号”“原始编号”3个字段，扩展性有了很大提高，但清洗效率会比上面差。各种数据表可以转换标准后保持字段数量不变，也可以根据使用情况进行组合建立新的数据表，方便后期大量使用，而使用频率特别高的数据建议建立独立数据表。

基金项目：山东省重大科技创新工程项目（2018CXGC1501）