• 售前

  • 售后

热门帖子
入门百科

基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解

[复制链接]
清风JA1 显示全部楼层 发表于 2021-10-26 14:09:11 |阅读模式 打印 上一主题 下一主题
目录


  • 一、高可用简介

    • 1.1 高可用团体架构
    • 1.2 基于 QJM 的共享存储系统的数据同步机制分析
    • 1.3 NameNode 主备切换
    • 1.4 YARN高可用

  • 二、集群规划
  • 三、前置条件全部服务器都安装有JDK,安装步调可以参见:Linux下JDK的安装;搭建好ZooKeeper集群,搭建步调可以参见:Zookeeper单机情况和集群情况搭建全部服务器之间都设置好SSH免密登录。
  • 四、集群设置

    • 4.1 下载并解压
    • 4.3 修改设置
    • 4.4 分发步调
    • 5.1 启动ZooKeeper
    • 5.2 启动Journalnode
    • 5.3 初始化NameNode
    • 5.4 初始化HA状态
    • 5.5 启动HDFS
    • 5.6 启动YARN

  • 六、检察集群

    • 6.1 检察历程
    • 6.2 检察Web UI

  • 七、集群的二次启动

一、高可用简介

Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现根本雷同,但 HDFS NameNode 对数据存储及其同等性的要求比 YARN ResourceManger 高得多,以是它的实现也更加复杂,故下面先举行讲解:

1.1 高可用团体架构

HDFS 高可用架构如下:

图片引用自: https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/
HDFS 高可用架构主要由以下组件所构成:
Active NameNode 和 Standby NameNode:两台 NameNode 形成互备,一台处于 Active 状态,为主 NameNode,别的一台处于 Standby 状态,为备 NameNode,只有主 NameNode 才气对外提供读写服务。
      
  • 主备切换控制器 ZKFailoverController:ZKFailoverController 作为独立的历程运行,对 NameNode 的主备切换举行总体控制。ZKFailoverController 能实时检测到 NameNode 的健康状态,在主 NameNode 故障时借助 Zookeeper 实现主动的主备选举和切换,当然 NameNode 如今也支持不依赖于 Zookeeper 的手动主备切换。  
  • Zookeeper 集群:为主备切换控制器提供主备选举支持。共享存储系统:共享存储系统是实现 NameNode 的高可用最为关键的部分,共享存储系统生存了 NameNode 在运行过程中所产生的 HDFS 的元数据。  
  • 主 NameNode 和 NameNode 通过共享存储系统实现元数据同步。在举行主备切换的时间,新的主 NameNode 在确认元数据完全同步之后才气继承对外提供服务。  
  • DataNode 节点:除了通过共享存储系统共享 HDFS 的元数据信息之外,主 NameNode 和备 NameNode 还需要共享 HDFS 的数据块和 DataNode 之间的映射关系。  
  • DataNode 会同时向主 NameNode 和备 NameNode 上报数据块的位置信息。

1.2 基于 QJM 的共享存储系统的数据同步机制分析

如今 Hadoop 支持利用 Quorum Journal Manager (QJM) 或 Network File System (NFS) 作为共享的存储系统,这里以 QJM 集群为例举行说明:Active NameNode 起首把 EditLog 提交到 JournalNode 集群,然后 Standby NameNode 再从 JournalNode 集群定时同步 EditLog,当 Active NameNode 宕机后, Standby NameNode 在确认元数据完全同步之后就可以对外提供服务。
需要说明的是向 JournalNode 集群写入 EditLog 是遵循 “过半写入则乐成” 的策略,以是你至少要有3个 JournalNode 节点,当然你也可以继承增长节点数目,但是应该保证节点总数是奇数。同时假如有 2N+1 台 JournalNode,那么根据过半写的原则,最多可以容忍有 N 台 JournalNode 节点挂掉。


1.3 NameNode 主备切换

NameNode 实现主备切换的流程下图所示:

HealthMonitor 初始化完成之后会启动内部的线程来定时调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法,对 NameNode 的健康状态举行检测。
HealthMonitor 假如检测到 NameNode 的健康状态发生变化,会回调 ZKFailoverController 注册的相应方法举行处置惩罚。
假如 ZKFailoverController 判定需要举行主备切换,会起首利用 ActiveStandbyElector 来举行主动的主备选举。
ActiveStandbyElector 与 Zookeeper 举行交互完成主动的主备选举。
ActiveStandbyElector 在主备选举完成后,会回调 ZKFailoverController 的相应方法来关照当前的 NameNode 成为主 NameNode 或备 NameNode。
ZKFailoverController 调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法将 NameNode 转换为 Active 状态或 Standby 状态。

1.4 YARN高可用

YARN ResourceManager 的高可用与 HDFS NameNode 的高可用雷同,但是 ResourceManager 不像 NameNode ,没有那么多的元数据信息需要维护,以是它的状态信息可以直接写到 Zookeeper 上,并依赖 Zookeeper 来举行主备选举。


二、集群规划

按照高可用的设计目标:需要保证至少有两个 NameNode (一主一备) 和 两个 ResourceManager (一主一备) ,同时为满足“过半写入则乐成”的原则,需要至少要有3个 JournalNode 节点。这里利用三台主机举行搭建,集群规划如下:


三、前置条件全部服务器都安装有JDK,安装步调可以参见:Linux下JDK的安装;搭建好ZooKeeper集群,搭建步调可以参见:Zookeeper单机情况和集群情况搭建全部服务器之间都设置好SSH免密登录。


四、集群设置


4.1 下载并解压

下载Hadoop。这里我下载的是CDH版本Hadoop,下载地点为:http://archive.cloudera.com/cdh5/cdh/5/
复制代码
  1. # tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz
复制代码
4.2 设置情况变量
编辑
  1. profile
复制代码
文件:
  1. # vim /etc/profile
复制代码
增长如下设置:
  1. export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2export PATH=${HADOOP_HOME}/bin:$PATH
复制代码
执行
  1. source
复制代码
命令,使得设置立即见效:
  1. [code]# source /etc/profile
复制代码
[/code]
4.3 修改设置

进入
  1. ${HADOOP_HOME}/etc/hadoop
复制代码
目录下,修改设置文件。各个设置文件内容如下:
1. hadoop-env.sh
  1. [code]# 指定JDK的安装位置export JAVA_HOME=/usr/java/jdk1.8.0_201/
复制代码
[/code]2. core-site.xml
  1. <configuration>
  2. <property>
  3. <!-- 指定namenode的hdfs协议文件系统的通信地址 -->
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://hadoop001:8020</value>
  6. </property>
  7. <property>
  8. <!-- 指定hadoop集群存储临时文件的目录 -->
  9. <name>hadoop.tmp.dir</name>
  10. <value>/home/hadoop/tmp</value>
  11. </property>
  12. <property>
  13. <!-- ZooKeeper集群的地址 -->
  14. <name>ha.zookeeper.quorum</name>
  15. <value>hadoop001:2181,hadoop002:2181,hadoop002:2181</value>
  16. </property>
  17. <property>
  18. <!-- ZKFC连接到ZooKeeper超时时长 -->
  19. <name>ha.zookeeper.session-timeout.ms</name>
  20. <value>10000</value>
  21. </property>
  22. </configuration>
复制代码
3. hdfs-site.xml
  1. <configuration>
  2. <property>
  3. <!-- 指定HDFS副本的数量 -->
  4. <name>dfs.replication</name>
  5. <value>3</value>
  6. </property>
  7. <property>
  8. <!-- namenode节点数据(即元数据)的存放位置,可以指定多个目录实现容错,多个目录用逗号分隔 -->
  9. <name>dfs.namenode.name.dir</name>
  10. <value>/home/hadoop/namenode/data</value>
  11. </property>
  12. <property>
  13. <!-- datanode节点数据(即数据块)的存放位置 -->
  14. <name>dfs.datanode.data.dir</name>
  15. <value>/home/hadoop/datanode/data</value>
  16. </property>
  17. <property>
  18. <!-- 集群服务的逻辑名称 -->
  19. <name>dfs.nameservices</name>
  20. <value>mycluster</value>
  21. </property>
  22. <property>
  23. <!-- NameNode ID列表-->
  24. <name>dfs.ha.namenodes.mycluster</name>
  25. <value>nn1,nn2</value>
  26. </property>
  27. <property>
  28. <!-- nn1的RPC通信地址 -->
  29. <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  30. <value>hadoop001:8020</value>
  31. </property>
  32. <property>
  33. <!-- nn2的RPC通信地址 -->
  34. <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  35. <value>hadoop002:8020</value>
  36. </property>
  37. <property>
  38. <!-- nn1的http通信地址 -->
  39. <name>dfs.namenode.http-address.mycluster.nn1</name>
  40. <value>hadoop001:50070</value>
  41. </property>
  42. <property>
  43. <!-- nn2的http通信地址 -->
  44. <name>dfs.namenode.http-address.mycluster.nn2</name>
  45. <value>hadoop002:50070</value>
  46. </property>
  47. <property>
  48. <!-- NameNode元数据在JournalNode上的共享存储目录 -->
  49. <name>dfs.namenode.shared.edits.dir</name>
  50. <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/mycluster</value>
  51. </property>
  52. <property>
  53. <!-- Journal Edit Files的存储目录 -->
  54. <name>dfs.journalnode.edits.dir</name>
  55. <value>/home/hadoop/journalnode/data</value>
  56. </property>
  57. <property>
  58. <!-- 配置隔离机制,确保在任何给定时间只有一个NameNode处于活动状态 -->
  59. <name>dfs.ha.fencing.methods</name>
  60. <value>sshfence</value>
  61. </property>
  62. <property>
  63. <!-- 使用sshfence机制时需要ssh免密登录 -->
  64. <name>dfs.ha.fencing.ssh.private-key-files</name>
  65. <value>/root/.ssh/id_rsa</value>
  66. </property>
  67. <property>
  68. <!-- SSH超时时间 -->
  69. <name>dfs.ha.fencing.ssh.connect-timeout</name>
  70. <value>30000</value>
  71. </property>
  72. <property>
  73. <!-- 访问代理类,用于确定当前处于Active状态的NameNode -->
  74. <name>dfs.client.failover.proxy.provider.mycluster</name>
  75. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  76. </property>
  77. <property>
  78. <!-- 开启故障自动转移 -->
  79. <name>dfs.ha.automatic-failover.enabled</name>
  80. <value>true</value>
  81. </property>
  82. </configuration>
复制代码
4. yarn-site.xml
  1. <configuration>
  2. <property>
  3. <!--配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在Yarn上运行MapReduce程序。-->
  4. <name>yarn.nodemanager.aux-services</name>
  5. <value>mapreduce_shuffle</value>
  6. </property>
  7. <property>
  8. <!-- 是否启用日志聚合(可选) -->
  9. <name>yarn.log-aggregation-enable</name>
  10. <value>true</value>
  11. </property>
  12. <property>
  13. <!-- 聚合日志的保存时间(可选) -->
  14. <name>yarn.log-aggregation.retain-seconds</name>
  15. <value>86400</value>
  16. </property>
  17. <property>
  18. <!-- 启用RM HA -->
  19. <name>yarn.resourcemanager.ha.enabled</name>
  20. <value>true</value>
  21. </property>
  22. <property>
  23. <!-- RM集群标识 -->
  24. <name>yarn.resourcemanager.cluster-id</name>
  25. <value>my-yarn-cluster</value>
  26. </property>
  27. <property>
  28. <!-- RM的逻辑ID列表 -->
  29. <name>yarn.resourcemanager.ha.rm-ids</name>
  30. <value>rm1,rm2</value>
  31. </property>
  32. <property>
  33. <!-- RM1的服务地址 -->
  34. <name>yarn.resourcemanager.hostname.rm1</name>
  35. <value>hadoop002</value>
  36. </property>
  37. <property>
  38. <!-- RM2的服务地址 -->
  39. <name>yarn.resourcemanager.hostname.rm2</name>
  40. <value>hadoop003</value>
  41. </property>
  42. <property>
  43. <!-- RM1 Web应用程序的地址 -->
  44. <name>yarn.resourcemanager.webapp.address.rm1</name>
  45. <value>hadoop002:8088</value>
  46. </property>
  47. <property>
  48. <!-- RM2 Web应用程序的地址 -->
  49. <name>yarn.resourcemanager.webapp.address.rm2</name>
  50. <value>hadoop003:8088</value>
  51. </property>
  52. <property>
  53. <!-- ZooKeeper集群的地址 -->
  54. <name>yarn.resourcemanager.zk-address</name>
  55. <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
  56. </property>
  57. <property>
  58. <!-- 启用自动恢复 -->
  59. <name>yarn.resourcemanager.recovery.enabled</name>
  60. <value>true</value>
  61. </property>
  62. <property>
  63. <!-- 用于进行持久化存储的类 -->
  64. <name>yarn.resourcemanager.store.class</name>
  65. <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  66. </property>
  67. </configuration>
复制代码
5. mapred-site.xml
  1. <configuration>
  2. <property>
  3. <!--指定mapreduce作业运行在yarn上-->
  4. <name>mapreduce.framework.name</name>
  5. <value>yarn</value>
  6. </property>
  7. </configuration>
复制代码
5. slaves
设置全部附属节点的主机名或IP地点,每行一个。全部附属节点上的
  1. DataNode
复制代码
服务和
  1. NodeManager
复制代码
服务都会被启动。
  1. <span class="hljs-attribute">hadoop001</span>
  2. hadoop002
  3. hadoop003
复制代码
4.4 分发步调

将Hadoop安装包分发到其他两台服务器,分发后建议在这两台服务器上也设置一下Hadoop的情况变量。
  1. # 将安装包分发到hadoop002
  2. scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop002:/usr/app/
  3. # 将安装包分发到hadoop003
  4. scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop003:/usr/app/
复制代码
5.1 启动ZooKeeper

分别到三台服务器上启动ZooKeeper服务:
  1. [code] zkServer.sh start
复制代码
[/code]
5.2 启动Journalnode

分别到三台服务器的的
  1. ${HADOOP_HOME}/sbin
复制代码
目录下,启动
  1. journalnode
复制代码
历程:
  1. [code]hadoop-daemon.sh start journalnode
复制代码
[/code]
5.3 初始化NameNode

  1. hadop001
复制代码
上执行
  1. NameNode
复制代码
初始化命令:
  1. hdfs namenode -format
复制代码
执行初始化命令后,需要将
  1. NameNode
复制代码
元数据目录的内容,复制到其他未格式化的
  1. NameNode
复制代码
上。元数据存储目录就是我们在
  1. hdfs-site.xml
复制代码
中利用
  1. dfs.namenode.name.dir
复制代码
属性指定的目录。这里我们需要将其复制到
  1. hadoop002
复制代码
上:
  1. [code] scp -r /home/hadoop/namenode/data hadoop002:/home/hadoop/namenode/
复制代码
[/code]
5.4 初始化HA状态

在任意一台
  1. NameNode
复制代码
上利用以下命令来初始化ZooKeeper中的HA状态:
  1. [code]hdfs zkfc -formatZK
复制代码
[/code]
5.5 启动HDFS

进入到
  1. hadoop001
复制代码
  1. ${HADOOP_HOME}/sbin
复制代码
目录下,启动HDFS。此时
  1. hadoop001
复制代码
  1. hadoop002
复制代码
上的
  1. NameNode
复制代码
服务,和三台服务器上的
  1. DataNode
复制代码
服务都会被启动:
  1. [code]start-dfs.sh
复制代码
[/code]
5.6 启动YARN

进入到
  1. hadoop002
复制代码
  1. ${HADOOP_HOME}/sbin
复制代码
目录下,启动YARN。此时
  1. hadoop002
复制代码
上的
  1. ResourceManager
复制代码
服务,和三台服务器上的
  1. NodeManager
复制代码
服务都会被启动:
  1. [code]start-yarn.sh
复制代码
[/code]需要留意的是,这个时间
  1. hadoop003
复制代码
上的
  1. ResourceManager
复制代码
服务通常是没有启动的,需要手动启动:
  1. [code]yarn-daemon.sh start resourcemanager
复制代码
[/code]
六、检察集群


6.1 检察历程

乐成启动后,每台服务器上的历程应该如下:
  1. [root@hadoop001 sbin]# jps
  2. 4512 DFSZKFailoverController
  3. 3714 JournalNode
  4. 4114 NameNode
  5. 3668 QuorumPeerMain
  6. 5012 DataNode
  7. 4639 NodeManager
  8. [root@hadoop002 sbin]# jps
  9. 4499 ResourceManager
  10. 4595 NodeManager
  11. 3465 QuorumPeerMain
  12. 3705 NameNode
  13. 3915 DFSZKFailoverController
  14. 5211 DataNode
  15. 3533 JournalNode
  16. [root@hadoop003 sbin]# jps
  17. 3491 JournalNode
  18. 3942 NodeManager
  19. 4102 ResourceManager
  20. 4201 DataNode
  21. 3435 QuorumPeerMain
复制代码

6.2 检察Web UI

HDFS和YARN的端标语分别为
  1. 50070
复制代码
  1. 8080
复制代码
,界面应该如下:
此时hadoop001上的
  1. NameNode
复制代码
处于可用状态:

而hadoop002上的
  1. NameNode
复制代码
则处于备用状态:





hadoop002上的
  1. ResourceManager
复制代码
处于可用状态:





hadoop003上的
  1. ResourceManager
复制代码
则处于备用状态:





同时界面上也有
  1. Journal Manager
复制代码
的相关信息:




七、集群的二次启动

上面的集群初次启动涉及到一些须要初始化利用,以是过程略显繁琐。但是集群一旦搭建好后,想要再次启用它是比力方便的,步调如下(首选需要确保ZooKeeper集群已经启动):
  1. hadoop001
复制代码
启动 HDFS,此时会启动全部与 HDFS 高可用相关的服务,包罗 NameNode,DataNode 和 JournalNode:
  1. [code]start-dfs.sh
复制代码
[/code]在
  1. hadoop002
复制代码
启动YARN:
  1. [code]start-yarn.sh
复制代码
[/code]这个时间
  1. hadoop003
复制代码
上的
  1. ResourceManager
复制代码
服务通常照旧没有启动的,需要手动启动:
  1. [code]yarn-daemon.sh start resourcemanager
复制代码
[/code]参考资料
以上搭建步调主要参考自官方文档:
HDFS High Availability Using the Quorum Journal ManagerResourceManager High Availability
总结
以上所述是小编给大家先容的基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解,盼望对大家有所帮助,假如大家有任何疑问请给我留言,小编会实时复兴大家的。在此也非常感谢大家对脚本之家网站的支持!
假如你觉得本文对你有帮助,接待转载,烦请注明出处,谢谢!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作