• 售前

  • 售后

热门帖子
入门百科

Hadoop3.x在centos上的完全分布式部署(包括免密登录、集群测试、历史服务

[复制链接]
静254 显示全部楼层 发表于 2022-1-13 09:55:56 |阅读模式 打印 上一主题 下一主题
目录



1. 环境准备

2. 创建用户


  • 创建hadoop用户,并修改hadoop用户的密码
  1. <code>[root@localhost hadoop-3.3.1]# useradd hadoop
  2. [root@localhost hadoop-3.3.1]# passwd hadoop
复制代码

  • vim /etc/sudoers配置 hadoop 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令,在 %whieel 这行下面添加一行,如下所示:
  1. <code>%wheel         ALL=(ALL)        ALL
  2. hadoop        ALL=(ALL)         ALL
复制代码

  • 修改/data目录所有者和所属组
  1. <code>chown -R hadoop:hadoop /data/
复制代码

  • 三台虚拟机依次添加地址映射
  1. <code>vim /etc/hosts
  2. 将下面三行加入文件末尾
  3. 192.168.68.101 hadoop1
  4. 192.168.68.102 hadoop2
  5. 192.168.68.103 hadoop3
复制代码
3. 免密登录


  • 到/home/hadoop/.ssh/目录下,使用 hadoop 用户执行ssh-keygen -t rsa,然后回车三次,会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
  • 执行下面的命令将公钥拷贝到要免密登录的机器上,在另外两台机器上一次重复这两个步骤
  1. <code>ssh-copy-id 192.168.68.101
  2. ssh-copy-id 192.168.68.102
  3. ssh-copy-id 192.168.68.103
复制代码

  • 现在三台机器的 hadoop 用户就可以免密登录了,再添加一个192.168.68.101的 root 用户免密登录到另外两台机器,用192.168.68.101的 root 用户,执行下面的命令
  1. cd ~cd .sshssh-keygen -t rsa<code>ssh-copy-id 192.168.68.101
  2. ssh-copy-id 192.168.68.102
  3. ssh-copy-id 192.168.68.103
复制代码

  • .ssh文件夹下的文件功能解释
文件名功能known_hosts记录ssh访问过计算机的公钥(public key)id_rsa生成的私钥id_rsa.pub生成的公钥authorized_keys存放授权过的无密登录服务器公钥 4. 安装部署


  • 将安装包分别上传到三台虚拟机

  • 执行命令tar -zxvf hadoop-3.3.1.tar.gz -C /data/解压到/data目录下

  • 三台虚拟机依次添加环境变量,编辑/etc/profile文件,添加以下内容,然后source /etc/profile保存,执行hadoop version命令检查是否添加成功
  1. #HADOOP_HOME
  2. export HADOOP_HOME=/data/hadoop-3.3.1
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export PATH=$PATH:$HADOOP_HOME/sbin
复制代码

  • 进入/data/hadoop-3.3.1/etc/hadoop路径,执行命令vim core-site.xml,编辑核心配置文件,添加以下内容:
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4.     <!-- 配置NameNode的URL -->
  5.     <property>
  6.         <name>fs.defaultFS</name>
  7.         <value>hdfs://192.168.68.101:8020</value>
  8.     </property>
  9.     <!-- 指定hadoop数据的存储目录,是hadoop文件系统依赖的基本配置,默认位置在/tmp/{$user}下,是个临时目录,一旦因为断电等外在因素影响,/tmp/${user}下的所有东西都会丢失 -->
  10.     <property>
  11.         <name>hadoop.tmp.dir</name>
  12.         <value>/data/hadoop-3.3.1/data/tmp</value>
  13.     </property>
  14.     <!-- 配置HDFS网页登录使用的静态用户为hadoop -->
  15.     <property>
  16.         <name>hadoop.http.staticuser.user</name>
  17.         <value>hadoop</value>
  18.     </property>
  19. </configuration>
复制代码

  • 执行命令vim hdfs-site.xml,编辑 HDFS 配置文件,添加以下内容:
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4.     <!-- NameNode存储名称空间和事务日志的本地文件系统上的路径 -->
  5.     <property>
  6.         <name>dfs.namenode.name.dir</name>
  7.         <value>/data/hadoop-3.3.1/data/namenode</value>
  8.     </property>
  9.     <!-- DataNode存储名称空间和事务日志的本地文件系统上的路径  -->
  10.     <property>
  11.         <name>dfs.datanode.data.dir</name>
  12.         <value>/data/hadoop-3.3.1/data/datanode</value>
  13.     </property>
  14.     <!-- NameNode web端访问地址-->
  15.     <property>
  16.         <name>dfs.namenode.http-address</name>
  17.         <value>192.168.68.101:9870</value>
  18.     </property>
  19.     <!-- SecondaryNameNode web端访问地址-->
  20.     <property>
  21.         <name>dfs.namenode.secondary.http-address</name>
  22.         <value>192.168.68.103:9868</value>
  23.     </property>
  24. </configuration>
复制代码

  • 执行命令vim yarn-site.xml编辑 YARN 配置文件,添加以下内容:
  1. <?xml version="1.0"?>
  2. <configuration>
  3.     <!-- 指定MR走shuffle -->
  4.     <property>
  5.         <name>yarn.nodemanager.aux-services</name>
  6.         <value>mapreduce_shuffle</value>
  7.     </property>
  8.     <!-- 指定ResourceManager的地址-->
  9.     <property>
  10.         <name>yarn.resourcemanager.hostname</name>
  11.         <value>192.168.68.102</value>
  12.     </property>
  13.     <!-- 为每个容器请求分配的最小内存限制资源管理器(512M) -->
  14.     <property>
  15.         <name>yarn.scheduler.minimum-allocation-mb</name>
  16.         <value>512</value>
  17.     </property>
  18.     <!-- 为每个容器请求分配的最大内存限制资源管理器(4G) -->
  19.     <property>
  20.         <name>yarn.scheduler.maximum-allocation-mb</name>
  21.         <value>4096</value>
  22.     </property>
  23.     <!-- 虚拟内存比例,默认为2.1,此处设置为4倍 -->
  24.     <property>
  25.         <name>yarn.nodemanager.vmem-pmem-ratio</name>
  26.         <value>4</value>
  27.     </property>
  28.     <!-- 环境变量的继承 -->
  29.     <property>
  30.         <name>yarn.nodemanager.env-whitelist</name>
  31.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  32.     </property>
  33. </configuration>
复制代码

  • 执行命令vim mapred-site.xml编辑 MapReduce 配置文件,添加以下内容:
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4.     <!-- 执行MapReduce的方式:yarn/local -->
  5.     <property>
  6.         <name>mapreduce.framework.name</name>
  7.         <value>yarn</value>
  8.     </property>
  9. </configuration>
复制代码

  • 在/data/hadoop-3.3.1/etc/hadoop路径下,执行命令vim workers配置 workers(注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行)
  1. 192.168.68.101
  2. 192.168.68.102
  3. 192.168.68.103
复制代码

  • 创建对应目录
  1. <code>mkdir /data/hadoop-3.3.1/data/datanode
  2. mkdir /data/hadoop-3.3.1/data/tmp
复制代码

  • 执行以下命令将配置好的 hadoop 安装包分发到另外两台机器
  1. <code>scp -r hadoop-3.3.1 root@192.168.68.102:/data/
  2. scp -r hadoop-3.3.1 root@192.168.68.103:/data/
复制代码

  • 集群第一次启动,需要在主节点格式化 NameNode(均使用 hadoop 用户)(注意:格式化 NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化 NameNode 的话,一定要先停止 namenode 和 datanode 进程,并且要删除所有机器的 data 和 logs 目录,然后再进行格式化)
  1. <code>hdfs namenode -format
复制代码

  • 使用 hadoop 用户启动 HDFS
  1. <code>sbin/start-dfs.sh
复制代码

  • 在192.168.68.102上启动 YARN
  1. <code>sbin/start-yarn.sh
复制代码

  • jps查看三台虚拟机的服务进程是否如下表所示
192.168.68.101
192.168.68.102
192.168.68.103HDFSNameNode
DataNodeDataNodeSecondaryNameNode
DataNodeYarnNodeManagerResourceManager
NodeManager NodeManager

  • Web 端查看 HDFS 的 NameNode(可以在Utilities=>Browse the file system查看 HDFS 目录结构)

  • Web 端查看 YARN 的 ResourceManager

5. 集群基本测试


  • 上传文件到集群
  1. <code>[hadoop@localhost hadoop-3.3.1]$ hadoop fs -mkdir /input
  2. [hadoop@localhost hadoop-3.3.1]$ hadoop fs -put /data/input/1.txt /input
复制代码

  • 前往 HDFS 文件存储路径,查看 HDFS 在磁盘存储文件的内容
  1. <code>[hadoop@localhost subdir0]$ pwd
  2. /data/hadoop-3.3.1/data/dfs/data/current/BP-503073314-127.0.0.1-1641801366580/current/finalized/subdir0/subdir0
  3. [hadoop@localhost subdir0]$ ls
  4. blk_1073741825  blk_1073741825_1001.meta
  5. [hadoop@localhost subdir0]$ cat blk_1073741825
  6. hello hadoop
  7. stream data
  8. flink spark
复制代码

  • 下载文件
  1. <code>[hadoop@localhost hadoop-3.3.1]$ hadoop fs -get /input/1.txt /data/output/
  2. [hadoop@localhost hadoop-3.3.1]$ ls /data/output/
  3. 1.txt
  4. [hadoop@localhost hadoop-3.3.1]$ cat /data/output/1.txt
  5. hello hadoop
  6. stream data
  7. flink spark
复制代码

  • 执行 wordcount 程序
  1. <code><code>hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output
  2. -----------------------------------------------------------------------------------------------------------
  3. 查看/output/下的文件内容(windows浏览器web页面拉取文件查看时,需在C:\Windows\System32\drivers\etc\hosts中添加 2.4 节说过的地址映射)
  4. data        1
  5. flink        1
  6. hadoop        1
  7. hello        1
  8. spark        1
  9. stream        1
复制代码

  • 计算圆周率(计算命令中 2 表示计算的线程数,50 表示投点数,该值越大,则计算的 pi 值越准确)
  1. <code>yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 2 50
  2. -----------------------------------------------------------------------------------------------------------
  3. Job Finished in 23.948 seconds
  4. Estimated value of Pi is 3.20000000000000000000
复制代码
6. 配置历史服务器

  为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:

  • vim mapred-site.xml编辑 MapReduce 配置文件,添加以下内容(三台虚拟机均需):
  1. <!-- 历史服务器端地址 -->
  2. <property>
  3.     <name>mapreduce.jobhistory.address</name>
  4.     <value>192.168.68.101:10020</value>
  5. </property>
  6. <!-- 历史服务器web端地址 -->
  7. <property>
  8.     <name>mapreduce.jobhistory.webapp.address</name>
  9.     <value>192.168.68.101:19888</value>
  10. </property>
复制代码

  • 在192.168.68.101启动历史服务器
  1. <code>开启:mapred --daemon start historyserver
  2. 关闭:mapred --daemon stop historyserver
  3. -----------------------------------------------------------------------------------------------------------
  4. #jps
  5. 15299 DataNode
  6. 15507 NodeManager
  7. 15829 Jps
  8. 15769 JobHistoryServer
  9. 15132 NameNode
复制代码

  • 查看JobHistory

7. 配置日志的聚集

  日志聚集概念:应用运行完成以后,将程序运行日志信息上传到 HDFS 系统上。

  日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

  • vim yarn-site.xml配置 yarn-site.xml,添加下面的内容(三台均需):
  1. <!-- 开启日志聚集功能 -->
  2. <property>
  3.     <name>yarn.log-aggregation-enable</name>
  4.     <value>true</value>
  5. </property>
  6. <!-- 设置日志聚集服务器地址 -->
  7. <property>  
  8.     <name>yarn.log.server.url</name>  
  9.     <value>http://192.168.68.101:19888/jobhistory/logs</value>
  10. </property>
  11. <!-- 设置日志保留时间为7天 -->
  12. <property>
  13.     <name>yarn.log-aggregation.retain-seconds</name>
  14.     <value>604800</value>
  15. </property>
  16. <!-- 配置正在运行中的日志在hdfs上的存放路径 -->
  17. <!--<property>
  18.     <name>mapreduce.jobhistory.intermediate-done-dir</name>
  19.     <value>/history/done_intermediate</value>
  20. </property>-->
  21. <!-- 配置运行过的日志存放在hdfs上的存放路径 -->
  22. <!--<property>
  23.     <name>mapreduce.jobhistory.done-dir</name>
  24.     <value>/history/done</value>
  25. </property>-->
复制代码

  • 重启服务,执行 wordcount 程序
  1. <code>hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output
复制代码

  • 查看日志



8. 集群启动/停止命令总结



  • 各个模块分开启动/停止(前提配置ssh)

  • 整体启动/停止 HDFS
  1. <code>start-dfs.sh/stop-dfs.sh
复制代码

  • 整体启动/停止 YARN
  1. <code>start-yarn.sh/stop-yarn.sh
复制代码


  • 各个服务组件逐一启动/停止

  • 分别启动/停止 HDFS 组件
  1. <code>hdfs --daemon start/stop namenode/datanode/secondarynamenode
复制代码

  • 启动/停止YARN
  1. <code>yarn --daemon start/stop  resourcemanager/nodemanager
复制代码
9. 集群群起脚本


  • vim myhadoop.sh添加下面内容并保存
  1. #!/bin/bashif [ $# -lt 1 ]then    echo "No Args Input..."    exit ;ficase $1 in"start")        echo " =================== 启动 hadoop集群 ==================="        echo " --------------- 启动 hdfs ---------------"        ssh 192.168.68.101 "/data/hadoop-3.3.1/<code>sbin/start-dfs.sh"        echo " --------------- 启动 yarn ---------------"        ssh 192.168.68.102 "/data/hadoop-3.3.1/<code>sbin/start-yarn.sh"        echo " --------------- 启动 historyserver ---------------"        ssh 192.168.68.101 "/data/hadoop-3.3.1/bin/mapred --daemon start historyserver";;"stop")        echo " =================== 关闭 hadoop集群 ==================="        echo " --------------- 关闭 historyserver ---------------"        ssh 192.168.68.101 "/data/hadoop-3.3.1/bin/mapred --daemon stop historyserver"        echo " --------------- 关闭 yarn ---------------"        ssh 192.168.68.102 "/data/hadoop-3.3.1/sbin/stop-yarn.sh"        echo " --------------- 关闭 hdfs ---------------"        ssh 192.168.68.101 "/data/hadoop-3.3.1/sbin/stop-dfs.sh";;*)    echo "Input Args Error...";;esac
复制代码

  • chmod +x myhadoop.sh赋予脚本执行权限
  • 启动/停止集群

10. 常用端口号说明

端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020 / 90008020 / 9000 / 9820NameNode HTTP UI500709870MapReduce查看执行任务端口80888088历史服务器通信端口1988819888
来源:https://blog.caogenba.net/weixin_44758876/article/details/122410214
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作