大型离线数据分析课程整体设计

孙燕飞

摘要：本文从课程性质与任务、课程教学目标设计、课程内容设计、课程考核等几个方面对大型离散数据分析课程进行了整体设计与研究，旨在培养学生分析问题和解决问题的能力、职业道德素养及可持续发展能力。

关键词：Hive;课程设计;职业能力

一、课程性质与任务

课程在软件技术专业人才培养方案中处于职业能力类课，属于专业必修课。本课程基于开源Hadoop大数据生态圈的主流离线分析工具Hive和Pig，通过技术讲解和案例实战相结合的方式，介绍了海量数据离线分析的技术方法。主要包括Hive数据库表、基于HiveQL的常规操作、视图、索引和Pig等数据处理分析和基础工具知识，Hive函数、Pig Latin编程、ETL工具Sqoop和工作流引擎Oozie等相关高级技术，以及实际项目案例。

通过本课程的学习和实训，主要使学生掌握大数据离线分析所需的主流技术，培养学生良好的职业道德，增强团队协作能力和沟通交流能力，培养学生的创新精神和实践能力，以适应现代生活的需要，适应未来职业的需要。

二、课程教学目标设计

1.总体目标

本课程的目标是培养学生掌握大数据离线分析所需的主流技术，掌握Hive的基本操作以及Sqoop、Pig、Oozie等工具的使用方法，并具有一定大数据离线分析的能力。

2.知识目标

本课程的知识目标包括：

（1）掌握大数据离线分析基础知识;

（2）掌握Hive中表的基本操作;

（3）掌握Hive中视图、索引和函数的创建和使用。

（4）掌握pig的安装、运行以及语句的使用。

（5）掌握Sqoop的安装以及应用。

（6）掌握Oozie的安装以及应用。

3.能力目标

（1）能够在Hive中完成表的基本操作;

（2）能够在Hive中创建视图、索引和函数;

（3）能够完成pig的安装、运行以及应用。

（4）能够完成Sqoop的安装以及应用。

（5）能够完成Oozie的安装以及应用。

4.素质目标

本课程的职业素质目标包括：

（1）具有良好的职业道德和身心素质以及创新能力;

（2）具有工作中与他人的合作、交流与协商能力;

（3）具有语言表达、社会交往和沟通能力;

（4）具有劳动组织能力、团队协作能力;

（5）具有按规范办事、批评与自我批评能力;

（6）具有敬业、吃苦耐劳的精神。

三、课程内容设计

在课程设计中，体现了以工作过程为导向，以工学结合为人才培养模式，以工学交替、任务驱动、项目导向、顶岗实习为教学模式，以学生为主体，以教师为主导，以职业能力培养为重点，以促进学生综合职业能力发展为目标，校企合作，共建课程。

课程设计从大数据分析员的职业岗位能力要求出发，根据学生认知规律精心组织课程内容，整体采用Project-driven training（项目驱动、项目实战）的思路，具体章节采用通俗易懂的语言和丰富多彩的实例;项目的设计由简单到复杂，理论知识采取循环式教学，使学生能够循序渐进地学习使用HIVE进行大数据离散数据分析的基础知识和相关技术。教学过程的实施采用“理实一体”的模式，在同一个教学环境中完成项目介绍→任务分析→理论知识→教师示范→学生操作→学生实践的完整过程。

遵循由易到难、由简单到复杂的认知规律，序化教学内容，确定 4个教学情境，按照教学任务、教学内容以及教学要求安排教学学时，共计 48学时。

四、课程考核

课程评价的目的是全面考察学生的学习状况，激发学生的学习兴趣和自信心，促进學生的全面发展。而且，课程评价也是教师对教学活动的反思和改进的有利手段。应建立多元能力考核评价体系。

（1）过程与目标结合评价，结合课堂提问、现场操作、课后作业、模块考核等手段，加强实践性教学环节的考核，并注重平时采分。

（2）强调理论与实践一体化评价，注重引导学生进行学习方式的改变。

（3）强调课程结束后综合评价，结合真实产品，充分发挥学生的主动性和创造力，注重考核学生所拥有的综合职业能力及水平。

（4）建议在教学中分任务模块评分，课程结束时进行综合模块考核。

（5）成绩比例计算：

总评成绩=平时成绩（平时出勤（20%）+作业成绩（30%））+期末成绩（50%）

五、结束语

通过对课程性质和课程任务的分析、对教学内容的选取，结合真实生产系统设计整个教学环节，以培养大数据分析员为目标，本文提出的大型离散数据分析课程整体设计方案在实践中较为可行。

参考文献

[1]杨力. 大数据Hive离散计算开发实战[M].人民邮电出版社，2020.6.

[2]肖睿，兰伟，廖春琼. Hadoop数据仓库实战[M].人民邮电出版社，2020.1.

[3]王剑辉. Hive数据仓库案例教程[M].电子工业出版社，2021.8.