可视化大数据管理系统的设计与应用

文 /李莹 姚郑 潘晶晶

设计背景

随着各校教育信息化的建设初见成效，网络保障条件日趋成熟，教育信息管理系统等各类基础信息数据库建设工作的逐渐完善，决策主体的数据意识得到了一定提升。

随着技术的普及,大数据已逐渐成为国家基础性战略资源[1],近年来，各校均建设了大量的教育教学信息管理系统，如学籍系统、就业系统、资产系统、报道系统、培养系统、招生系统、教师系统等，累积了大量的数据资源。但是因为设计维度和管理角度均不统一，各业务系统基本都是各自独立运行、数据不互通，所以无法整合数据，无法为上层校领导提供统一化整体化的直观学校信息。而大数据技术作为信息技术对于教育变革的推动力，为教育决策科学化提供了新思路和新方法[2]。大数据技术的发展是提升教育决策科学性的优质驱动力, 但数据汇聚与综合应用仍是促进科学决策的一大门槛[3]。教育决策的制定往往会参考一定的数据资源, 但数据大都源于决策者的直观经验、印象, 并不能全面、系统地反映事实, 使决策的科学性受人质疑[4]。为了更好的为决策者提供有力的数据支持，特建立可视化大数据管理系统。

系统简介

可视化大数据管理系统通过对高等院校教育基础数据持续、动态、标准化的采集、清洗、转化，实现高等院校教育数据纵向贯通和互联，为准确掌握全校教育基本情况（包括学生、师资、学科、课程、学位、就业等），为科学制定高等院校教育政策、教育资源配置合理化，提供全方位、实时、精准的重要决策数据支撑。在此基础上，面向校领导及科研院所提供本校学生、教师、课程、学科的基本数据查询、统计报表和各类排行服务，并将可公开数据向社会发布，允许公众通过统计数据了解本校教育基本情况，传播高等院校教育理念和成果。

系统特点

可视化大数据管理系统利用云计算基础设施，整合高等院校各类教育基础数据，建立起全校教育信息通用分类标准和基础数据中心，通过基础数据融合和大数据可视化技术，全面掌握全校教育基本状况，全面支持高等院校教育质量评估、教育决策，实现智慧教育管理，促进全校教育资源共享。

系统架构

1.数据层，系统使用数据库集群存储数据。在数据库中，主要分为两部分，一部分是系统的逻辑数据，另一部分是可视化大数据管理系统所需要的业务数据。而业务数据只用作可视化展示，所以为了避免误操作，此部分数据设置为只读权限。

图1 系统架构

2.服务器层，本系统展示的报表和图表较多，根据此需求特点，将服务器层分为两部分，一部分是系统运行的服务器，另一部分是提供报表服务的报表服务器。

3.业务层，系统本身业务主要包括访问管理、统计访问次数、系统设置、日志记录、用户权限管理等业务功能。系统根据用户的角色展示相应的数据报表。

4.展示层，系统中展示的报表都由报表服务器生成，并将生产的报表嵌入到系统的展示页面中。本系统的展示部分，均由HTML5技术实现，PC和移动终端都可以正常访问。

系统功能

可视化大数据管理系统功能包括三大方面：数据采集；数据管理；统计分析。

1.数据采集

可视化大数据管理系统涵盖各分校的各类教育基础数据。其从各分校相关教育业务系统中自动抽取数据，或者由各分校按约定的数据模板及时上传数据，在此基础上对数据进一步清洗、转化。应用层系统获取这些经过预处理的基础数据，基于可视化技术，实现教育指标的综合分析、评价和决策支持。系统建设初期，主要采取人工上传方式采集各分校的教育基础数据，在后期推广应用阶段，逐步实现自动方式（开放API，平台定时抽取）采集数据。

2.数据管理

图2 统计分析

（1）数据处理。可视化大数据管理系统作为底层服务平台，严格遵守一数一源，按照预先定义好的数据模型，将数据加载到数据库中，实现整个智慧教育数据的规范化、系统化、一体化管理，提供数据导入导出、数据备份、元数据管理、数据交换等后台功能，对教育基础数据进行计算、处理，为上层应用提供更加便利的数据服务，包括ETL（数据抽取、转换、装载与清洗），MapReduce以及计算等方式。

数据导入导出：把相关的教学数据采用合适的模式/标准对数据进行统一储存，方便利用智能算法进行分析和操作，将经过系统分析处理后的数据导出，方便浏览查询或者打印。

数据备份：只要产生了数据传输、数据存储以及数据交换，就有产生数据故障的可能性。本系统采取定时进行数据备份、提供数据恢复等手段，防止数据的丢失，避免造成损失。

元数据管理：包括各个业务表的发展，数据元素和实体的定义，表格规则和算法以及数据的特征。最基础的管理是管理业务元数据的收集、组织和维持。对技术型元数据的应用以及主数据管理和数据治理项目的成功至关重要[5]。

数据清洗：数据来源各不相同，数据形式多元化，使得数据质量存在较大的差异，不正确或者不一致的数据可能会严重影响数据的分析效果。本系统使用如统计分析、预定义规则等相关技术将“脏数据”转换为满足数据质量要求的数据。

数据集成：整合来自多个数据存储的数据，为数据分析、处理、挖掘提供完整的数据源。

数据交换: 将数据变换或统一成适合于数据分析挖掘的形式。

数据校验：在数据交互中，由于各种硬件、软件、网络等问题可能会导致数据的丢失、异常等不一样的情况，为了解决这种情况，系统内建立相关校验机制和处理功能，以便对异常情况做善后处理。

图3 按需查询与数据导出

（2）提供统一的数据访问接口。通过规范API标准帮助应用开发者能够更好地使用智慧教育平台的各类资源，支持各系统之间的数据共享，保证数据的实时性、整齐性和一致性。

3.统计分析

（1）支持基本的数据统计分析和可视化展现（图2）。全院教育基础数据统计采用横向（从学生、教师、课程、学科角度对比单位情况）与纵向（从单位深入查看学生、教师、课程、学科情况）相结合的方式。院校领导、院校机关（主管业务部门）可以了解各分校的学生、师资、课程、学科的总体情况及各校对比情况。也可查看每个培养单位（院系/研究所）的学生、师资、课程、学科数据。分校领导、研究所领导可以查看本校（含对口培养单位）或本单位总体情况以及面向全院校公开的各校对比情况。

（2）支持按需查询与数据导出（图3）。院校领导、院校机关（主管业务部门）可以以自定义的方式查询感兴趣的数据，并可导出相应的基础数据。

（3）支持向社会公众发布统计数据（图4）。院校机关（主管业务部门）有权限将统计数据（图表）对外发布，可设置院校内发布和向公众发布。设置为院校内发布，则可跨校、跨单位查看相应的统计信息；公众可通过院校机关发布的面向公众的统计数据了解本院教育基本情况。

图4 向社会公众发布统计数据

系统应用场景

关注教师数量变化，提升学校在岗教师数量和质量

通过查看各级单位历年新增教师数量，可以及时发现教师数量变化的异常，再通过数据钻取，查看各研究所教师数量，查看各年龄段教师数量等，可以发现异常的根源。比如：某所教师数量逐年下降是因为退休教师数量增加、导致在岗教师数量下降，就可以及时补充新教师，在未来三五年内，重点引进年轻教师，从而避免教师资源短缺（图5）。

图5 关注教师数量变化

分析各研究所博导硕导的数量和性别比

用户需要分析所有单位的博导硕导数量性别差异。通过分析菜单内选择教师分析，选取导师类型和性别等字段，从而完成整个统计过程，得到数据结果（图6）。

图6 分析各研究所博导硕导的数量和性别比

制定未来财务支出计划，有效配置教育资源

用户通过查看教育经费概况，教育经费收支情况，可以观察历年各项收入支出变化，计算收支增长百分比，合理预测下一年的收支情况，制定财务计划。

教育信息化是社会信息化的一个重要组成部分，合理利用大数据的统筹与应用可以推进教育决策科学化。可视化大数据管理系统将进一步为教育决策大数据系统的架构设计、系统研发和多面应用提供基础和方法。