• 售前

  • 售后

热门帖子
入门百科

Hadoop伪分布集群搭建(Hadoop)

[复制链接]
却写杂布计 显示全部楼层 发表于 2022-1-8 18:00:51 |阅读模式 打印 上一主题 下一主题
Hadoop伪分布集群搭建


1.安装vmware workstation软件(版本15或16,12也可),设置centos 7镜像文件。需注意如下:

(1)centos安装后无法打开,一样平常是捏造化的问题,在bios界面将其打开。网上有千篇同等的说法,结合自身电脑进行实行。
(2)安装centos7推荐安装桌面版,“软件选择”——“GNOME桌面”,操纵较为直观,可以清晰的显现文件部署。
(3)安装时可自界说ip地点、用户名和主机名。
(4)本次实例为单节点。
   设置中如果遇到问题,滴滴vx:mutou88848
  2.关闭防火墙(切换到root用户下进行)

下令:su root
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld(出现inactive dead即可)

3.禁用selinux

vi /etc/selinux/config
#修改: SELINUX=disabled
进入设置文件,按“i”键,下方出现“INSERT”,此时上下左右移动光标到SELINUX=enforcing处,删除enforcing,改为disabled,此时,按esc键,此时“INSERT”消散,输入“:wq”保存并退出即可
重启reboot见效

4.网络设置IP

(1)查察捏造机ip,子网掩码,网关信息等
方法1:在开始装镜像文件时,网络设置信息可查察,如下图


可以得到,网关(192.168.79.2),子网掩码(255.255.255.0)和ip地点(192.168.79.130)
方法二:点击VMware栏的编辑>>网络编辑器,切换显示VMnet8的信息.一样平常子网IP是安装VMware时随机分配的

点击NAT设置和DHCP设置,可以得到,网关(192.168.79.2),子网掩码(255.255.255.0)和ip地点(dhcp设置中,ip地点是一个范围,这里设置为192.168.79.130)


(2)在/etc/sysconfig/network-scripts/中,找到ifcfg-ens32大概ifcfg-ens33设置文件,修改BOOTPROTO=static,ONBOOT=yes,添加如下信息
  1. IPADDR=192.168.79.130
  2. NETMASK=255.255.255.0
  3. GATEWAY=192.168.79.2
  4. DNS1=114.114.114
  5. DNS2=8.8.8.8
复制代码


(3)设置resolv.conf文件
编辑resolve.conf文件,输入vi /etc/resolv.conf,添加之前设置的DNS,用于剖析地点

(4)输入systemctl restart network重启网络服务
(5)测试ping 百度(ctrl+c可停止)

(6)在主机的系统下令行中ping捏造机的IP地点,输入ping 捏造机IP,如下图所示则表示ping通了

5.修改主机名,做主机映射

hostnamectl set-hostname djt
reboot

修改设置文件vi /etc/hosts

6.创建用户hadoop

useradd -m hadoop

7.为hadoop用户设置SSH免暗码登录

(1)切换到hadoop用户,创建.ssh目次

(2)天生密钥对
ssh-keygen -t rsa

(3)公钥文件复制到相同目次下的authorized文件中
cat id_rsa.pub >> authorized_keys
cat authorized_keys

(4)切换到hadoop用户根目次为.ssh目次及文件赋予相应的权限

(5)使用ssh下令登录djt,第一次必要输入yes,后边则不消输入,此时设置成功

8.jdk安装

(1)创建jdk安装目次/home/hadoop/app

(2)将jdk安装包从windows拖到捏造机中的/home/hadoop/app下(拖拽和复制粘贴的方式都试试,有时会没有反应,多复制频频,直到jdk在相应目次下)

(3)解压
tar -zxvf jdk-8u281-linux-x64.tar.gz


(4)创建软毗连
ln -s jdk1.8.0_281 jdk

(5)设置环境变量
vi ~/.bashrc
添加:
  1. JAVA_HOME=/home/hadoop/app/jdk
  2. CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  3. PATH=$JAVA_HOME/bin:$PATH
  4. export JAVA_HOME CLASSPATH PATH
复制代码

(6)见效设置文件,并测试
source ~/.bashrc
java -version

9.安装hadoop

(1)将hadoop从windows拖拽或复制到捏造机 home/hadoop/app目次下

(2)解压
tar -zxvf hadoop-2.10.1.tar.gz

(3)创建软毗连
ln -s hadoop-2.10.1 hadoop

(4)设置hadoop环境变量
vi ~/.bashrc
  1. JAVA_HOME=/home/hadoop/app/jdk
  2. HADOOP_HOME=/home/hadoop/app/hadoop
  3. CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  4. PATH=$JAVA_HOME/bin:HADOOP_HOME/bin:$PATH
  5. export JAVA_HOME CLASSPATH PATH HADOOP_HOME
复制代码

(5)设置见效
source ~/.bashrc

(6)查察hadoop版本号
bin/hadoop version

10.修改hadoop设置文件

(1)进入hadoop/etc/hadoop,查察相关设置文件

(2)修改 core-site.xml 设置文件
vi core-site.xml
  1. <property>
  2.      <name>fs.defaultFS</name>
  3.      <value>hdfs://djt:9000</value>
  4. </property>
  5. <property>
  6.      <name>hadoop.tmp.dir</name>
  7.      <value>file:/home/hadoop/data/tmp</value>
  8. </property>
  9. <property>
  10.      <name>hadoop.proxyuser.hadoop.hosts</name>
  11.      <value>*</value>
  12. </property>
  13. <property>
  14.      <name>hadoop.proxyuser.hadoop.groups</name>
  15.      <value>*</value>
  16. </property>
复制代码

(3)修改hdfs-site.xml设置文件
vi hdfs-site.xml
  1. <property>
  2.      <name>dfs.namenode.name.dir</name>
  3.      <value>/home/hadoop/data/dfs/name</value>
  4.      <final>true</final>
  5. </property>
  6. <property>
  7.      <name>dfs.datanode.data.dir</name>
  8.      <value>/home/hadoop/data/dfs/data</value>
  9.      <final>true</final>
  10. </property>
  11. <property>
  12.      <name>dfs.replication</name>
  13.      <value>1</value>
  14. </property>
  15. <property>
  16.      <name>dfs.permission</name>
  17.      <value>false</value>
  18. </property>
复制代码

(4)修改hadoop-env.sh设置文件
export JAVA_HOME=/home/hadoop/app/jdk

(5)修改mapred-site.xml设置文件
cp ./mapred-site.xml.template ./mapred-site.xml
vi mapred–site.xml

  1.   <property>
  2.       <name>mapreduce.framework.name</name>
  3.       <value>yarn</value>
  4. </property>
复制代码

(6)设置yarn-site.xml设置文件
  1. <property>
  2.       <name>yarn.nodemanager.aux-services</name>
  3.       <value>mapreduce_shuffle</value>
  4. </property>
复制代码

(7)修改slaves设置文件
vi slaves

11.创建hadoop相关数据目次,格式化HDFS的namenode


格式化:bin/hadoop namenode -format

12.启动hadoop

sbin/start-all.sh

jps查察历程,出现下图即可

13.页面测试

(1)修改设置文件,在地点c://windows/system32/drivers/etc,找到hosts文件,用记事本打开

(2)添加ip hostname(这里我的是192.168.79.130 djt)

(3)在谷歌欣赏器分别输入ip:50070,hostname:50070,ip:8088和hostname:8088进行验证(这里我的ip是192.168.79.130,hostname是djt,要根据自己实际环境测试)



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作