高职院校大数据专业岗位技能分析与课程体系建设的研究

于洋

摘 要：从传统IT的业务驱动到大数据DT时代的数据驱动，大数据得到了前所未有的发展，相应的人才需求也变得越来越迫切。本文从大数据人才需求出发，分析各岗位的技能要求，按照大数据的“采、存、用、管”全生命周期，构建高职院校大数据专业的课程体系。

关键词：高职院校大数据专业;岗位技能分析;课程体系

1 背景

随着大数据基础设施的不断完善，各类终端、各种系统和各种平台产生积累了海量的数据。对这些数据的采集、处理、分析和发掘的大数据应用发展迅猛，大数据浪潮正在全球席卷而来。我国在2014年政府报告中首次提到大数据，起步较晚。但在过去的几年中，大数据产业呈持续地高速增长态势，尤其是2018年，在建设“数字中国”的大趋势下，全国上下、由内到外、从政府到企业，正在打造建立和完善大数据全产业链生态系统。

截至2018年，麦肯锡大数据研究报告显示，大数据相关人才需求达400万之巨。我国人力资源专业机构数联寻英在2018年7月发布《大数据人才报告》，报告显示我国大数据人才仅46万，未来3-5年内大数据人才缺口将高达150万。正是考虑到大数据人才市场的需求潜力，我国教育部在2016年增补了“大数据技术与应用”高等职业教育专业。本文针对高职“大数据技术与应用”专业人才岗位技能需求，按照大数据生命周期，构建高职大数据专业的课程体系。

2 大数据生命周期技术体系

大数据在维基百科中定义为利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。它具有5V特点：Volume（大量）、Velocity（高速）、Variety（高速）、Value（低价值密度）、Veracity（真实性）。

大数据的全生命周期起始于数据源，经过数据获取、清洗、加工、转换等操作，进而进入到大数据分布式存储系统，然后采用分布式数据分析框架对数据进行抽取、分析、建模、挖掘和可视化操作，为数据驱动提供决策依据实现数据资源的变现。

Hadoop是目前最为流行的大数据收集、存储、计算、分析和挖掘的分布式系统架构[1]，它包含以下常用组件，如下图所示。

3 大数据岗位及相关技能

按照大数据生命周期的不同阶段，可以将大数据划分为以下几个岗位群：规划设计岗位群、数据处理岗位群、平台管理岗位群、分析挖掘岗位群、运营管理岗位群和大数据应用岗位群。通过对企业和用人单位的调研，以及高职院校对学生的培养定位，在以上岗位群中进行抽取，最终确定一下岗位群和岗位作为高职院校大数据专业人才培养对口的目标岗位[2]。

3.1 数据处理岗位群

（1）数据处理工程师：负责数据的抽取和预处理，从海量数据中提取有价值的信息;负责数据的全面处理工作，协助数据仓库工程师处理数据。该岗位所要掌握的专业技能有：数据库、爬虫技术、Linux、Java/Python、Hadoop/Hive集群数据处理能力等。

（2）ETL工程师：负责数据的采集、加工、清洗、转换;负责ETL程序的设计、开发、优化和维护。该岗位要求熟悉数据库、Linux、Java/Python、大数据平台及各组件的应用、ETL架构和常用开发工具等。

（3）网络爬虫工程师：负责各大网站和网页数据的提取、采集及分析;负责分布式网络爬虫程序的设计开发、优化和维护。该岗位需精通网页抓取原理及技术、精通正则表达式、从结构化和非结构化数据中提取信息、Linux、Java/Python等。

3.2 平臺管理岗位群

（1）大数据开发工程师：负责大数据平台的设计、开发;负责集群的管理和性能调优。需具备：Linux、Java/Python、Hadoop生态组件、Strom流式数据处理框架、Spark内存计算框架等。

（2）数据仓库工程师：负责数据仓库的需求调研、分析、数据模型的设计;负责数据的采集、加工、清洗、转换;负责数仓ETL规则的设计、开发、优化和维护。需具备的能力有：Linux、Java/Python、数据仓库的分层架构、Hive/DB2/Teradata等原理知识、ETL工具等。

3.3 大数据应用岗位群

可视化工程师：负责数据的视觉设计和可视化展示;负责可视化组件的开发。需要熟悉主流可视化工具Tableau和Echarts等、理解数据库应用、精通HTML5、CSS、JQuery、JS等技术。

4 高职院校大数据专业课程体系

基于以上各岗位职责和需要掌握的专业技能，将高职大数据专业课程体系分为：专业基础课、专业核心课和综合实训课。

（1）专业基础课：Java程序设计、Linux操作系统、数据库原理与应用、网络基础、Web前端开发、大数据概论。

（2）专业核心课：Hadoop生态、爬虫技术与应用、ETL架构和开发工具、MPP技术与应用、数据仓库技术与应用、数据挖掘基础、可视化工具应用。

（3）综合实训课：网络爬虫综合实训、大数据开发综合实训。

5 结论

本文从数据驱动下的人才需求出发，立足大数据岗位工作职责和岗位技能，从高职院校培养高素质技能型人才出发，确定大数据专业培养的目标岗位;并根据各个岗位技能，抽取、组建和成立高职大数据专业的主要课程，形成课程体系;最终，培养出合格的大数据专业技能人才，以满足大数据各相关岗位的需要。

参考文献：

[1]吕太之，毕家钦.基于Hadoop平台的岗位分析和推荐系统的构建[J].河北软件职业技术学院学报，2017，12（4）：1-4.

[2]陶硕，刘俞.基于高职院校大数据技术应用专业人才培养方案研究[J].河南科技学院学报，2017，12（12）：50-53.