Hadoop3 HDFS+YARNHA高可用教程
完整内容请看附近Hadoop3 HA高可用教程.docx
第 6 章 Hadoop HA 高可用,zookeeper+hadoop3x.
6.1HA概述
(1)所谓HA(HighAvailablity),即高可用(7*24小时不中断服务)。
(2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA
机制:HDFS 的 HA 和 YARN 的 HA。
(3)NameNode主要在以下两个方面影响 HDFS 集群
ØNameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启
ØNameNode机器需要升级,包括软件、硬件升级,此时集群也将无法使用
HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将NameNode 很快的切换到另外一台机器。
6.2HDFS-HA集群搭建
当前HDFS 集群的规划
hadoop102 | hadoop103 | hadoop104 |
NameNode | Secondarynamenode | |
DataNode | DataNode | DataNode |
HA 的主要目的是消除 namenode 的单点故障,需要将hdfs 集群规划成以下模样
hadoop102 | hadoop103 | hadoop104 |
NameNode | NameNode | NameNode |
DataNode | DataNode | DataNode |
目录 返回
首页