目录

一、Hadoop的高可用原理概述

1.1 原理概述

1.2 实验环境要求

二、高可用集群的搭建

2.1 搭建Zookeeper

2.2 搭建HA的高可用

2.3 YARN（资源管理器 RM）高可用集群部署

2.4 HBase高可用

        高可用是指在集群中当有一太master，出现故障时，另外一台可以接替其工作。

        在典型的 HA 集群中，通常有两台不同的机器充当 NN。两台主机只有一台处于Active状态，另一台处于Standby。处于Active状态的主机负责HA集群中的操作管理，Standby负责备份，当Active出现状况时，可自动切换启动使用。

        在HA集群中为了让 Standby 和 Active 两台主机保持元数据保持一致，它们都将会和JournalNodes 守护进程通信。当 Active节点执行任何有关命名空间的修改，它需要持久化到一半以上的 JournalNodes 上(通过 edits log 持久化存储)，而 Standby节点负责观察 edits log的变化，从 JNs 中读取 edits 信息，并更新其内部的命名空间。当 Active节点出现故障，Standby将会保证从 JNs 中读出了全部的 Edits，然后切换成 Active 状态。

        Standby  读取全部的 edits 可确保发生故障转移之前，是和 Active拥有完全同步的命名空间状态。

        为了提供快速的故障恢复，Standby也需要保存集群中各个文件块的存储位置。为了实现这个，集群中所有的 Database 将配置好 Active和 Standby的位置，并向它们发送块文件所在的位置及心跳，如下图所示：

【注】在 HA 集群中,Standby也执行 namespace 状态的 checkpoints，所以不必要运行Secondary NN、CheckpointNode 和 BackupNode。

        5台虚拟机、Zookeeper的压缩包

其中： server1、5搭建NN的高可用；

server2、3、4搭建zk\jk\dn

【注】 （1）NameNode machines：运行 Active和 Standby 的机器需要相同的硬件配置；

（2）JN ：相对来说比较轻量，可以和其他线程(比如 NN,YARN ResourceManager)运行在同一台机器上。

（3）在一个集群中，最少要运行 3 个 JN 守护进程，来增强容错能力。更多则需要保证运行个数为奇数个 JN(3、5、7 等)，当运行 N 个 JN，系统将最多容忍(N-1)/2 个 JN 崩溃。