使用VMware Esxi和Hadoop进行大数据平台的搭建研究

冯文健 柳州铁道职业技术学院 蒙焕念 广西科技师范学院

1. VMware Esxi和Hadoop的具体分析

VMware Esxi在某种程度上是建立在具体服务器硬件上的虚拟机系统，在一定程度上其稳定性能相对较好，在服务器硬件上也不会消耗过多的设备性能。在VMware Esxi上是可以进行多个服务器硬件虚拟机的创建的，在对于每一个虚拟机的独立应用程序以及操作系统当中是可以去实现多个虚拟机的创建的。在一定程度上去安装好Exsi系统之后，能够去通过Vsohere Client登录到Esxi系统上面去进行实际的管理，列如在次系统上去构建快照以及虚拟机等方面。在Haoop中其开源分布式的系统构建主要是为了给具体的程序提供较为稳定，可靠的数据服务以及接口，其数据服务和接口主要包含了两个方面第一是Haoop MapReduce与Hadoop Distributed HDFS。其中HDFS是hadoop的分布式文件系统，其主要运用的是从构建中去构建一个控制节点以及多个数据控制节点所构成的。其中namenode管理文件在系统命名当中其被命名为空间，在一定程度上是记录着文件当中的各环节数据节点中的所有信息。在某种程度上datanode存放着相关的具体数据，然后在根据其所需要的实际数据模块进行系统的构建。在Hadoop中的mapredue的分布式计算系统引擎是可以去实现对于大数据的实际进行具体的处理，在某种程度上其思想是必须要分为reduc和map阶段中对与系统所输入的并行地割所分成的多个任务，然后要让reduce去负责对于map环节中的全部结果进行汇总的反馈。

2. 具体系统平台的搭建

2.1 具体创建虚拟机和安装Linux系统

在大数据平台中使用Linux系统的版本是最新的版本，在实际安装过程中所要注意的是，不能够去忽视了对于该系统的静态ip以及主机名称和启动时间等相关问题。在某种程度哈桑要在IBM的服务器上去构建一个独立的虚拟机，这样能够让其在剩余的服务器上去选择所需求的虚拟机，在相信对构建的虚拟机中较为熟练的系统中，去创建完成本地的镜像文件在安装Linux，然而在系统镜像文件当中能够去支持多个虚拟机上的系统文件，这也就是说明了可以同时在一个服务器上去安装多个虚拟机，这样能够在很大程度上去提高安装的效率，这样也能够在一定程度节省安装时间。

2.2 服务器硬件和其他方面的准备工作

在一定程度上对于VMware Esxi和Hadoop大数据平台的搭建中所需要的服务器硬件条件是需要在服务器中安装若干个IBM的服务器，然而根据具体的需求对IBM的服务器的实际性能进行检测，这样能够让其作为主节点，对于其他方面的联想服务器都是需要进行独立的创建出新的节点的，这样能够让系统平台正常稳定的运行。在某种程度上对于多种服务器的管理必须要进行统一化的管理，要想进行统一管理就必须要在服务器上安装VMware Esxi系统，这样能够让计算机主机上的静态IP，用户名密码等环节做好提前的设置，做好这些，最后用户就可以进行远程的客户端实际操作了。在VMware Esxi和Hadoop大数据平台搭建研究中可以在计算机中安装光盘，在安装过程中所需要注意的就是要针对系统进行安装成功之后对于服务器进行重新其中的操作，若是在一定程度上没有成功的启动光盘或者是没有启动计算机设备，那么这种情况就必须要对系统进行重新的安装，在对于系统安装成果之后还需要就行用户的相关设置，对于主机的名称和用户的相关登录密码和IP账号等进行参数匹配的设置，这样能够让用户在远程进行客户端的实际操作，此外还可以在客户端上安装client，这样能够让计算机管理员的实际操作工作变得更为简单化。

2.3 Hadoop的实际安装程序

在之前的Linux系统当中进行配置期间已经对于静态IP，主机名和NTP进行了具体的配置，所以在某种程度上对于Hadoop配置过程中只需要配置相应的文件就可以了，这个时候就需要在配置完成之后安装爪洼程序和相应的设置来对SSH进行客户端的登录操作，在一定程度上让该平台中安装时候可以充分运用命令安装，在实际安装成功之后还必须要在etc这个配置文件当中进行环境的具体变量。在实际安装好JDK之后还必须要对ssh的密码登录进行相应的设置，在ssh无线密码设置环节中要在主节点上面去生成一个密钥对，然后在将其分为私钥以及公钥这两种，从而在一定程度上将公钥复制到slawe中，这样能够在某种程度上去要求集群中创建一个较好的ssh文件，与此同时还能够将相关的权限修改成为相应的具体数据信号，此后就能够简单快捷的去生成无线密码的密钥对，从而将公钥追加到授权的key程序当中，这样能够让其不间断的让数据传送到其他环节节点当中，在启用对公钥私钥进行配对人活在那个过程中，要将命令改为pubkey Authentication yes，这样能够在一定程度上让VMware Esxi和Hadoop大数据平台的搭建变得更为便利。

在后续安装程序当中需要配置Hadoop当中的文件，要对文件进行相应的配置前去下载好Hadoop的源码，然后将其编译成为六十四位的Hadoop，同时还需要在这个程序当中去创建多个文件，其主要创建的文件名称是tmp，dfs/data以及name等。上述程序完成之后就需要对Hadoop的配置文件进行具体的配置了，在配置文件中有7个，还有些是默认没有的文件，将这些文件通过复制的template来获取受到相应的程序。在最后就是需要修改好Hadoop的配置文件来将集群上的节点进行复制。在这个时候会出现文件开发的相关问题，伴随着数据业务的流量不断扩大，有很多的程序文件是需要在某种程度上去进行具体的修改之后的使用的，这样会让所有节点当中的文件都会被修改，这种情况的出现会加大工作人员的工作量，为了能够在一定程度上降低这种低效率的工作方法，在基于VMware Esxi和Hadoop大数据平台的构建中可以充分将crontab进行相应的结合，这样能够在某种程度上去实现hadoop的文件同步，这样能够在进行首次文件同步是去实现文件的复制而将所传输的文件内容进行改动，从而在对文件内容传输改动过程中能够同时对文件进行压缩的方式，这样能够让实际工作效率有送提升，从而提升其经济效益的变化。

结语：总而言之，在VMware Esxi和Hadoop进行大数据平台的搭建研究过程中，充分考虑到具体成本和对集群监控的方式运用，在对机械设备的性能进行最大化的利用，这样能够让大数据平台的搭建展现出更为完美的一面，对于Linux进行选择中不能忘记相关的参数配置，这样能够在一定程度上让其更好的去发挥Hadoop的实际作用，从而让系统平台得到更好的管理。