虚拟化容器,大数据,DBA,中间件,监控。

Hadoop3 HDFS+YARNHA高可用教程

12 11月
作者:admin|分类:大数据

完整内容请看附近Hadoop3 HA高可用教程.docx



6 Hadoop HA 高可用,zookeeper+hadoop3x.

6.1HA概述

(1)所谓HAHighAvailablity,即高可用7*24小时不中断服务

(2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA

机制:HDFS HA YARN HA

(3)NameNode主要在以下两个方面影响 HDFS 集群

ØNameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启

ØNameNode机器需要升级,包括软件、硬件升级,此时集群也将无法使用

HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将NameNode 很快的切换到另外一台机器。

6.2HDFS-HA集群搭建

当前HDFS 集群的规划

hadoop102

hadoop103

hadoop104

NameNode

Secondarynamenode

DataNode

DataNode

DataNode

HA 的主要目的是消除 namenode 的单点故障,需要将hdfs 集群规划成以下模样

hadoop102

hadoop103

hadoop104

NameNode

NameNode

NameNode

DataNode

DataNode

DataNode

浏览502 评论0
返回
目录
返回
首页
如何在RELS7.6上安装CDP数据中心版 Hadoop3 HA高可用集群搭建