Hadoop完全高可用集群启动顺序

您所在的位置:网站首页 简述hadoop集群搭建步骤 Hadoop完全高可用集群启动顺序

Hadoop完全高可用集群启动顺序

#Hadoop完全高可用集群启动顺序| 来源: 网络整理| 查看: 265

总结一下:完全高可用的hadoop集群主要包含两部分,HDFS的高可用,Yarn的高可用

HDFS高可用启动顺序主要分为以下几步:

第一步、启动所有journalNode进程,用来存之后namenode的元数据第二步、格式化主namenode,并启动主namenode进程第三步、将主namenode上的元数据信息复制到从的namenode所在节点第四步、在主namenode上格式化ZKFC,只需要在主namenode上进行即可,原因后面有解释第五步、停掉所有Journalnode进程和主namenode第六步、使用start-dfs.sh脚本一次性启动所有HDFS的进程

Yarn高可用启动顺序主要分以下几步:

第一步:直接在主的ResourceManager上利用start-yarn.sh脚本启动yarn集群第二步:在从的ResourceManager上手动启动从resourcemanager进程

HDFS集群启动顺序:

一、首先启动所有的jouranlnode 进程

通过hadoop-daemons.sh start journalnode读取slaves文件中的内容,启动里面的所有主机上的journalnode进程 ,或者你自己跑到每一台journalnode所在主机上去手动启动也可以,尽量将journalnode与datanode部署相同的服务器上。最先启动journalnode进程的目的就是为了之后存放namenode的元数据奠定基础,所以journalnode一定要在namenode之前启动。

二、格式化主namenode

先启动master上的主namenode,因为只有启动主namenode进程后,才能将其元数据复制到备的namenode上,使用hadoop-daemon.sh脚本手动启动主namenode。

三、同步主namenode (master)上的信息到备namenode上(slave1)

四、只在主namenode上格式化zkfc,只是为了连接上zookeeper集群,然后在zookeeper集群上面创建一个znode节点: /hadooop-ha/ns1,所以在哪里格式化zkfc其实不并重要,重要的是在zookeeper集群上创建znode。

五、先停掉master上的主namenode进程和所有的journalnode,之后会通过start-dfs.sh脚本一次性重启所有进程

[root @master hadoop-2.6.5]# hadoop-daemons.sh stop journalnode

六、然后在master上执行dfs-start.sh

===== 最重要的一步 ===================

启动后结果如下:

最后访问通过http://ip:50070访问web界面:

接下来启动yarn集群

一、在master节点上启动yarn集群 , start-yarn.sh

二、在slave1节点上手动启动备的ResourceManager

结果如下:

 

最后通过http://ip:8088端口查看yarn的web界面:



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3