高校大数据课程内容体系探讨

陈燕 黄敏 王聪

摘要：文章理顺了大数据与商务智能、数据挖掘等相关课程的关系。根据多年来主持国家、省部级大数据相关项目和教学经验，就大数据课程内容体系构建、如何讲授大数据课程及大数据实验和应用体系设立等提出大数据课程内容体系创新模式。

关键词：高校;大数据;课程体系

中图分类号：G642.41 文献标志码：A 文章编号：1674-9324（2019）36-0179-03

一、引言

大数据时代，人们越来越依赖互联网，各类活动产生海量数据。这些数据在不同领域带来不同的管理与决策分析模式。专家们认为：大数据已经作为人类历史上最重要的一次信息革命。经过十多年的发展，国内外各行各业都在运用大数据存储、分析与处理方法，对这些数据进行深度挖掘和分析，创造了更高的经济效益。通过近年的电子商务营销情况，我们可以看到网络大数据产生的效果和重要意义。例如，2017天猫“双十一”启动仅过28秒，成交额便超过10亿元人民幣;同城物流行业应用中，货拉拉的货主端App和司机端App的MAU（月活跃用户数）分别为250万和57万，高居行业首位;滴滴拥有超过4.5亿用户，目前在中国400多个城市开展服务，每天的订单量高达2500万，相当于全球其他市场（包括美国）的总和，所有移动出行市场总量的2倍，每天要处理数据4500TB，相当于450多万部蓝光电影。总而言之，我们每时每刻都在产生海量数据，如何处理和分析这些数据，已经成为业界专家研究的热点问题。

大数据的到来，不仅需要科学工作者和专家了解大数据的概念、知识以及如何处理和分析大数据，还要及时培养大数据专业技术人才。因此，国外多数高校针对大数据开设大数据课程并立项开展应用研究。据500强公司统计表明：85%的公司都筹划推出大数据项目，如麻省理工学院、哈佛大学、伯克利、印第安纳州立大学等率先开设大数据课程。国内多数高校陆续在研究生和本科高年级开设了大数据课程，到2017年底，已有283所高校获得大数据专业设置的认可。对高校新开设的专业基础课程的师资来讲，急需解决的关键问题是：（1）如何理顺大数据与商务智能、数据挖掘及相关课程的关系;（2）如何讲授大数据课程;（3）大数据课程包括哪些内容;（4）大数据的教材体系、实验体系包括哪些内容等。根据我们多年来主持国家、省部级数据处理与决策相关项目的应用研究，以及近年来开设的大数据相关课程，本文探讨的大数据课程内容体系的教与学方法意义重大。

二、大数据专业课程内容体系创新模式

依据多年的教学经验和教学方法，将大数据专业课程内容体系的创新模式分如下五个主要部分：（1）大数据课程授课的前驱与后继课程;（2）大数据课程内容体系;（3）大数据课程的实验体系;（4）大数据的应用工具;（5）大数据课程的模型系统。

（一）大数据课程授课的前驱与后继课程

通过大数据课程授课的前驱与后继课程，得知大数据课程的开设条件，主要分为大数据的前驱课程、大数据课程和大数据的后继课程。

（二）大数据课程内容体系分类

大数据课程内容体系划分如下五类，主要包括：大数据课程理论体系、大数据课程内容体系、大数据课程实验体系、大数据的应用工具与大数据课程的模型系统。

1.大数据课程理论体系：包括前驱课程理论体系和后继课程理论体系，如图1所示。

2.大数据课程内容体系（如图2）。

3.大数据课程实验体系（如图3）。

4.大数据的应用工具（如图4）。

5.大数据课程的模型系统。将大数据课程的模型系统分为两部分：第一部分是大数据的基础模型;第二部分是大数据的经典模型。

（1）大数据的基础模型包括预测模型系统、优化模型、决策模型。

预测模型分为定量预测模型与定性预测模型，常用的定量预测模型如图5所示，定性预测模型如图6所示。

常用的优化模型有：单目标优化模型、双目标优化模型、多目标优化模型、两阶段优化模型、分层多目标优化模型、鲁棒优化模型、多目标模糊优化模型、动态决策优化模型、广义粒子群优化模型、时间特征优化模型、组合优化模型、多产品多阶段库存优化模型、鲁棒优化模型、基于影子价格应用的优化模型、投入产出优化模型等。

决策模型包括：基于最大（最小）后悔值的鲁棒决策模型、基于组合优化的决策模型、多阶段群体决策模型、基于满意度最大的多准则群决策模型、模糊决策模型、基于AHP的优化决策模型基于属性约简的决策模型、基于贝叶斯的风向决策模型。

（2）大数据的经典模型。并行计算模型：分布式并行计算模型、分层并行计算模型、多Agent的并行计算模型、异构并行计算模型、面向对象的并行计算模型、基于网格的并行计算模型、基于分区计算的丙型计算模型、混合并行计算模型、并行排序计算模型。

文本挖掘模型：LDA主题模型、文本相似度判定算法、聚类分析模型、lD3决策树模型、基于概率统计的BAYES分类模型、Markov～型、文本模糊聚类、文本K-means聚类、基于Hadoop环境下的关联分析、基于粗糙集的不确定信息挖掘模型、基于时间序列的文本挖掘模型、SOM神经网络聚类、PCA主成分分析模型、网页排序模型、MMR等模型。

图像与视频分析模型：小波变换模型、基于小波变换的图像压缩、基于多目标优化的图像处理模型、基于QSCAR集群的并行图像处理模型、KMP模式串匹配算法模型、模式识别学习一人工神经网络一BP算法、基于卷积神经网络的匹配代价算法、基于卷积神经网络的匹配代价算法、Hebb学习规则与线性联想器、模式识别学习——遗传算法、马尔科夫随机模型、基于Hadoop的图像研所欲处理模型、

图数据库及关联分析。常见的主流图数据库有：NeO4J、ArangoDB、OrientDB、InfiniteGraph、具备高性能及优秀可扩展性的DEX图形类数据库、“网页图形数据库”InfoGrid、老牌图形类数据库AllegroGraph等。关联分析模型有：Apriori算法即快速发现知识的算法模型、基于Hadoop环境下的Fp-free关联分析模型、基于灰色系统理论的关联度分析模型、典型关联分析（Canonical Correlation Analysis，简称CCA）作为最常用的挖掘数据关联关系的算法模型。

上述模型根据大数据相关研究领域与内容，确定所选用的模型。

三、讲授大数据课程方法的探讨

（一）注重大数据前驱课程具备的知识点

分清学习大数据课程之前具备哪些知识点，如大数据前驱课程知识是否满足该课程的开设要求？有的学生计算机专业基础较好，但数学建模较差;有的学生恰好是与前面相反的状态;还有的学生没有学好數据结构、数据库原理、高级语言程序设计等重要的计算机专业基础课程，可能会直接影响大数据课程的理解能力;还有的学生高等数学、计算方法等前驱课程学习不好，再加上选修课程面窄，也会影响大数据课程学习效果。因此，根据多年教学经验，提出学习大数据课程前必须具备的前驱课程主要知识才能学好这门课程。

（二）注重大数据知识图谱的讲授方法

由于大数据的应用是跨系统、跨平台、跨领域的，所以讲授本课程时，必须运用面向某全局领域的案例来讲授，按照某领域的知识图谱展开研究，以便将大数据的关系、实体、关联知识点描述出来，让学生通过大数据这门课，掌握大数据的知识图谱及相关知识点。

（三）注重大数据课程理论与实践相结合的教与学的方法

根据学生学习大数据之前所具备的知识点，在讲授本课程过程中，要注重运用理论与实践相结合的教学模式。例如，讲授实现某并行运算如基于Hadoop环境并行计算的关联规则算法时，运用逐步求精法来讲授，具体如下：（1）先介绍关联规则算法理论;再运用一个应用例子即大型数据库例子，按照计算方法，分别求出项集的候选项、强项集、支持度和可信度与规则;（2）介绍基于并行环境（Hadoop环境）的关联规则算法，即FP-TREE算法的实现，经过几轮讲课，将一个复杂的例子，运用通俗易懂的方法讲授，以便收到更好的讲授效果。

（四）注重大数据架构建立和案例的教与学方法

大数据课程建立在数据库、数据仓库与数据挖掘的基础上，要想在大数据环境下讲授大数据的采集、综合管理与分析，必须在了解和掌握数据库与数据仓库搭建架构的基础上，才能理解和掌握大数据架构的搭建。

四、结语

近年来，随着学术界和实业界对大数据研究与应用的关注，很多高校设置大数据相关课程。本文通过总结近几年笔者在大数据研究和相关课程中的讲授经验，提出大数据专业课程创新模式。该模式总结了大数据课程授课的前驱与后继课程、大数据课程内容体系、大数据课程实验体系、大数据的应用工具及大数据课程的模型系统。针对该创新模式，也探讨了大数据课程的讲授方法。该模式对高校大数据课程设置和相关教学工作提供一定的参考，也为师生学习大数据课程提供理论参考。