• 售前

  • 售后

热门帖子
入门百科

ubantu 16.4下Hadoop完全分布式搭建实战教程

[复制链接]
123457665 显示全部楼层 发表于 2021-10-25 19:41:07 |阅读模式 打印 上一主题 下一主题
前言
本文主要先容了关于ubantu 16.4 Hadoop完全分布式搭建的相干内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的先容吧
一个捏造机
1.以  NAT网卡模式   装载捏造机

2.最好将几个用到的捏造机修改主机名,静态IP     /etc/network/interface,这里 是 s101 s102  s103 三台主机 ubantu,改/etc/hostname文件

3.安装ssh  

 在第一台主机那里s101 创建公私密匙  

  
  1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
复制代码

  
  1. >cd .ssh
复制代码

  
  1. >cp id_rsa.pub >authorized_keys
复制代码
 创建密匙库

    将id_rsa.pub传到其他主机上,到.ssh目次下

          通过  服务端
  1. nc -l 8888 >~/.ssh/authorized_keys
复制代码

          客户端
  1. nc s102 8888 <id_rsa.pub
复制代码

开始安装Hadoop/jdk
1、安装VM-tools  方便从win 10 拖拉文件到ubantu

2、创建目次   /soft

3、改变组  chown ubantu:ubantu /soft  方便传输文件有权限

4、将文件放入到/soft   (可以从桌面cp/mv src dst)

      tar -zxvf jdk或hadoop 主动创建解压目次

      设置安装环境 (/etc/environment)

            1.添加  JAVA_HOME=/soft/jdk-...jdk目次

            2.添加   HADOOP_HOME=/soft/hadoop(Hadoop目次)

            3.在path内里加/soft/jdk-...jdk/bin:/soft/hadoop/bin/:/soft/hadoop/sbin

            4.通过  java -version   查看有版本号  成功

            5.hadoop version  有版本号  成功

开始设置HDFS四大文件   core-site.xml     hdfs-site.xml    mapred-site.xml   yarn-site.xml
core-site.xml
  1. <configuration>
  2. <property>
  3. <name>fs.defaultFS</name>
  4. <value>hdfs://s101:9000</value>
  5. </property>
  6. </configuration>
复制代码
2.hdfs-site.xml
  1. <configuration>
  2. <!-- Configurations for NameNode: -->
  3. <property>
  4. <name>dfs.replication</name>
  5. <value>2</value>
  6. </property>
  7. <property>
  8. <name>dfs.namenode.name.dir</name>
  9. <value>file:/data/hdfs/name</value>
  10. </property>
  11. <property>
  12. <name>dfs.datanode.data.dir</name>
  13. <value>file:/data/hdfs/data</value>
  14. </property>
  15. <property>
  16. <name>dfs.namenode.secondary.http-address</name>
  17. <value>s101:50090</value>
  18. </property>
  19. <property>
  20. <name>dfs.namenode.http-address</name>
  21. <value>s101:50070</value>
  22. <description>
  23. The address and the base port where the dfs namenode web ui will listen on.
  24. If the port is 0 then the server will start on a free port.
  25. </description>
  26. </property>
  27. <property>
  28. <name>dfs.namenode.checkpoint.dir</name>
  29. <value>file:/data/hdfs/checkpoint</value>
  30. </property>
  31. <property>
  32. <name>dfs.namenode.checkpoint.edits.dir</name>
  33. <value>file:/data/hdfs/edits</value>
  34. </property>
  35. </configuration>
复制代码
3.  mapred-site.xml
  1. <configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>
复制代码
4.yarn-site.xml
  1. <configuration>
  2. <!-- Site specific YARN configuration properties -->
  3. <property>
  4. <name>yarn.nodemanager.aux-services</name>
  5. <value>mapreduce_shuffle</value>
  6. </property>
  7. <property>
  8. <name>yarn.resourcemanager.hostname</name>
  9. <value>s101</value>
  10. </property>
  11. </configuration>
复制代码
到此成功一半。。。。。。。。。。。。。。
创建文件夹
  1. mkdir /data/hdfs/tmp
  2. mkdir /data/hdfs/var
  3. mkdir /data/hdfs/logs
  4. mkdir /data/hdfs/dfs
  5. mkdir /data/hdfs/data
  6. mkdir /data/hdfs/name
  7. mkdir /data/hdfs/checkpoint
  8. mkdir /data/hdfs/edits
复制代码
记得将目次权限修改
      
  • sudo chown ubantu:ubantu /data
接下来传输 /soft文件夹到其他主机
创建 xsync可实行文件
  1. sudo touch xsync
复制代码
  1. sudo chmod 777 xsync
复制代码
  权限酿成可实行文件
  1. sudo  nano xsync
复制代码

  1. #!/bin/bash
  2. pcount=$#
  3. if((pcount<1));then
  4. echo no args;
  5. exit;
  6. fi
  7. p1=$1;
  8. fname=`basename $p1`
  9. pdir=`cd -P $(dirname $p1);pwd`
  10. cuser=`whoami`
  11. for((host=102 ; host<105 ;host=host+1));do
  12. echo --------s$host--------
  13. rsync -rvl $pdir/$fname $cuser@s$host:$pdir
  14. done
复制代码
  1. xsync /soft
复制代码
-------->就会传文件夹到其他主机
  1. xsync /data
复制代码

创建  xcall 向其他主机传下令
  1. #!/bin/bash
  2. pcount=$#
  3. if((pcount<1));then
  4. echo no args;
  5. exit;
  6. fi
  7. echo --------localhost--------
  8. $@
  9. for ((host=102;host<105;host=host+1));do
  10. echo --------$shost--------
  11. ssh s$host $@
  12. done
复制代码
别着急  快结束了  哈
还得设置 workers问价
      
  • 将须要设置成数据节点(DataNode)的主机名放入此中,一行一个
注意重点来了
先格式化   
  1. hadoop -namenode -format
复制代码
再 启动  
  1. start-all.sh
复制代码

查看历程  
  1. xcall  jps
复制代码

进入网页


是不是很想牛泪,成功了耶!!!
中间出现了许多问题
  1, rsync 权限不够   :删除文件夹   更改文件夹权限chown
  2.学会看日志  log
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习大概工作具有一定的参考学习代价,假如有疑问大家可以留言交换,谢谢大家对草根技能分享的支持。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作