大数据环境下的Hadoop专创融合课程探索研究

李明东 姜飞 李小燕 孙雪

摘 要：开设人工智能课程的学习目标是让学生学习人工智能应用基础，了解人工智能对现代生活的改变和影响，培养人工智能的应用能力。所以在知识体系的选取上要降低一定的难度和范围，大量呈现人工智能的应用场景案例，对知识体系与案例体系的进行合理的设计。

关键词：专创融合;人工智能;hadoop

1、人工智能知识体系的选定

工智能是战略性新兴产业。人工智能作为教学目标和教学内容走进课堂，国内许多院校开设了人工智能学院、人工智能相关专业。目前，本科和研究生学习的《人工智能及其应用》[1]教材偏重于理论知识和算法的研究学习。

开设人工智能课程的学习目标是让学生学习人工智能应用基础，了解人工智能产业的发展现状与市场需求，开拓学生的科技视野。以人工智能的应用领域为线索介绍学习领域。

2、HDFS体系架构的设计

2.1 存储块

块（Block）：操作系统中的文件块。文件是以块的形式存储在磁盘中，块的大小代表系统读、写可操作的最小文件大小。也就是说，文件系统每次只能操作磁盘块大小的整数倍数据。通常来说，一个文件系统块大小为几千字节，而磁盘块大小为512字节。

HDFS中的块是一个抽象的概念，比操作系統中的块要大得多。在配置hadoop系统时会看到，它的默认大小是128MB。HDFS使用抽象的块的好处：可以存储任意大的文件而又不会受到网络中任一单个节点磁盘大小的限制;

使用抽象块作为操作的单元可以简化存储子系统。

2.2模块任务

2.2.1 Name node功能：

1）承担master 管理集群中的执行调度;

2）管理文件系统的命名空间，维护整个文件系统目录树以及这些文件的索引目录;

3）不永久保存文件快信息，在系统启动时重加块信息;

4）命名空间镜像（namespace）和编辑日志（Edit log）

2.2.2 集群管理

HDFS采用Master/Slave架构对文件系统进行管理。一个HDFS集群是由一个Name Node和一定数目的Data Node组成的。Name Node是一个中心服务器，负责管理文件系统的命名空间（Namespace）以及客户端对文件的访问。集群的Date Node一般是由一个节点运行一个Data Node进程，负责管理它所在节点上的存储。

从内部看，一个文件其实被分成了一个或多个数据块，这些块存储在一组Data Node上。Name Node执行文件系统的名字空间操作，比如打开，关闭，重命名文件或目录。它负责确定数据块到具体Data Node节点的映射。Data Node 负责处理文件系统客户端的读/写请求。在Name Node的统一调度下进行数据块的创建，删除和复制。

2.2.3读取策略

1）副本存放和读取策略

副本的存放是HDFS可靠性和性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特征。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性，可用性和网络带宽的利用率上。在读取数据时，为了减少整体带宽消耗和降低整体的带宽延时，HDFS会尽量让读取程序读取离客户端最近的副本。

2）安全模式

Name Node启动后会进入一个称为安全模式的状态。处于安全模式的Name Node不会进行数据块的复制。Name Node从所有的Data Node接收心跳信号和块状态报告。

3）文件安全

Hadoop采用了两种方法来确保文件安全。第一种方法：将Name Node中的元数据转储到远程的NFS文件系统上;第二种方法：系统中同步运行一个Secondary Name Node。

3、普通本科院校的课程案例体系的设计

在确定了人工智能课程的知识体系后，要收集整理人工智能各研究领域的应用案例、成果案例、生活应用案例，作为主要的教学内容引导学生学习和了解，进而帮助学生了解人工智能的技术知识和应用，熟悉人工智能产业的发展现状与市场需求，培养人工智能的应用能力。

知识标识和知识图谱，包括知识标识和知识图谱的概念，产生方法，框架表示法;机器学习包括：机器学习的概述、范围、学习方法和机器学习的挑战。自然语言的理解包括：语言的理解、发展、研究、理解过程的层次任务、应用、未来与展望。专家系统包括：定义的特点和优势、类型与应用、结构与工作原理、设计与实现等。

4、总结

开设人工智能课程的学习目标是让学生学习人工智能应用基础，了解人工智能对现代生活的改变和影响，培养人工智能的应用能力。所以在知识体系的选取上要降低一定的难度和范围，大量呈现人工智能的应用场景案例，对知识体系与案例体系的进行合理的设计。

参考文献：

[1] 陈燕.新工科研究进展与前瞻[J].天津大学学报（社会科学版），2020，22（3）：214-222.

[2] 王雪，何海燕，栗苹，等.人工智能人才培养研究：回顾、比较与展望[J].高等工程教育研究，2020（01）：42-51.

[3] 肖卓宇，徐运标，陈果，等.“人工智能+教育”融合的实施路径研究[J].计算机时代，2020（11）：103-105;109.