• 售前

  • 售后

热门帖子
入门百科

Hadoop分布式集群的安装(图解)

[复制链接]
荷叶224 显示全部楼层 发表于 2022-1-8 17:24:18 |阅读模式 打印 上一主题 下一主题
全局统筹



  • 前言
  • 安装前的检查
  • 开始安装虚拟机
  • Linux的网络配置步调
  • 虚拟机内部设置
  • 进入虚拟机
  • 安装其他东西
  • 克隆虚拟机
  • 开始搭建分布式集群
  • 集群配置
  • 启动集群
  • jps检察历程
  • 常见题目

前言

   这里的笔记仅供参考使用,你可以从买来一台新的电脑就可以开始照着安装。我如今在虚拟机里面仅仅安装jdk和Hadoop,作为我们集群最基础必要的东西,有必要学习其他的东西的小同伴可以等待我的后续更新,和其他博主不一样的是,每个人都有不一样的地方,但目的肯定是一样的。话不多说,开干!
  注:小小的提示,本实验由于涉及到网络服务的毗连,建议各位在学习期间关闭你的防火墙,否则,一旦出现毗连时错误时,找找你的防火墙题目。
安装前的检查

1、电脑是否虚拟化
可能有很少的一部门同学在我们打开VMware时出现过这种情况
这个题目出现的缘故原由就是我们的电脑未举行虚拟化的开启,这时候我们打开我们的任务管理器(鼠标放到最下边的任务栏,右击就会出现,快捷键:笔记本:ctrl+shift+esc,台式电脑,ctrl+alt+.),假如出现
这个时候我们点开详细信息就可以了,再点击性能,假如你能看到
下面这个虚拟化三个字,应该时处于已禁用的状态(已启动不消管),这时候我们就必要开启虚拟化。下面这个开启虚拟化,我就不测试了,不能截图,偷偷偷个懒,没人发现吧。
开启虚拟化详情链接
2、安装VMWare
由于这里主要就是有安装包了之后,一次一次下一步根本上就可以了。
vmware安装详情链接
VMware16百度网盘下载链接:https://pan.baidu.com/s/1ZZK53T18sc72xsTU355GYg
提取码:078m
3、准备centos下载
centOS7.5.1804官网下载地址链接
这里由于高出4个G了,百度网盘都存不下了。
开始安装虚拟机

使用的配置
   安装平台:VMware16
适用体系:window10,windows11(其他体系你们的博主没钱实验了,win11都是升级后才实验的。)
映像文件:CentOS-7.5-x86_64-DVD-1804.iso
  具体安装步调
1、新建虚拟机

2、选择自界说

3、无脑下一步

4、选择映像方式

5、继续无脑下一步

6、设置虚拟机名称

7、设置虚拟机处置惩罚器内核巨细

8、设置虚拟机内存巨细

9、设置网络范例,学习使用NAT模式

三种模式的区别
网络模子互换机名称桥接模式VMnet0NAT模式VMnet8仅主机模式VMnet1NAT、桥接模式(Briged模式)均可与外网举行通信,仅主机模式(Host-Only)一样寻常只能在内网举行通信。
1、NAT(网络地址转换模式)–多用于家庭情况
安装好虚拟机后,它的默认网络模式就是NAT模式。
原理:通过宿主机的网络来访问公网。虚拟局域网内的虚拟机在对外访问时,使用的则是宿主机的IP地址,如许从外部网络来看,只能看到宿主机,完全看不到新建的虚拟局域网。
上风:虚拟体系接入互联网非常简朴,只需宿主机器能访问互联网即可, 不必要举行任何手工配置。
2、Bridged(桥接模式)–多用于办公情况
雷同局域网中的一台独立的主机,它可以访问内网任何一台机器,但是它要和宿主机器处于同一网段,如许虚拟体系才气和宿主机器举行通信【主机防火墙开启会导致ping不通】
设置:
(1)默认存在自动获取ip机制,只必要将虚拟机设置为Bridged(桥接模式),虚拟机会自动获取新的ip,包管ip地址与宿主机在同一个网段。
(2)假如是手工配置机制,那么为了保持虚拟机与宿主机在同一个网段,此中涉及人工配置ip,比较贫苦。
使用场景:假如想利用VMWare在局域网内新建一个虚拟服务器,为局域网用户提供网络服务,就应该选择桥接模式。
3、Host-only(主机模式) – 用得比较少
在某些特别的网络情况中,要求将真实情况和虚拟情况隔脱离,这时你就可接纳host-only模式。在这种模式下宿主机上的全部虚拟机是可以相互通信的,但虚拟机和真实的网络(物理机网络)是被隔脱离的。
10、一连两个下一步到达这里,选择磁盘

11、选择磁盘巨细以及磁盘格式

12、选择你保存的位置,不要出现中文

13、别发急点完成

14、最后的配置
   这里我们以后也可以在这个界面更改

选择映像文件,前面选择这里就不消选择了

  选择NAT模式

配置完毕后点击关闭完成。启动虚拟机下面这个界面请等待就可以了。
等他安装时我们可以去做一个事,打开我们的网络配置,这么查找控制面板\网络和 Internet\网络毗连



Linux的网络配置步调

对于网络的配置,我们希望IP是相对固定了,如许才气确保集群的全部服务器之间通信的正常,达到协同相助的目的,因此再配置Linux网络时要考虑到局域网和Internet网都可以适配,在这里我们选用虚拟网卡共同NAT模式的方式达到此目的。反正一句话:网要通还很稳固。
步调如下
1、给当前Linux主机设置VMnet8虚拟网卡,在VMWare中选择虚拟机,在选择设置

最后确定保存。
2、配置网关

子网IP不要和之前win配置的IP地址辩论

这里的网关肯定要和之前的保持划一。主要是更改框里面的东西

确定保存后,打开虚拟机。
虚拟机内部设置

选择安装

在下面搜索ch,就可以选择中文,当然你也可以选择其他的,随意,选择

继续下一步。
选择时区和最小化安装

时区自己选择,最小化安装在下面

配置磁盘

第一个分区

设置第一个分布格式

第二个分区

格式

第三个分区

终极的分区设置

点击完成,担当更改
关闭KDUMP

设置root暗码
在上面完成后点击下一步

设置暗码,肯定要记着,更改不太方便

完成配置

这里逐步等待别发急

等待几分钟后

进入虚拟机

登录界面

配置网络
  1. sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
复制代码

重启网络服务
  1. service network restart
复制代码

检查ping

当我们做好这一步了之后,我们就可以做长途毗连了,当然假如你要修改主机名,建议下一步做了之后再做长途毗连。这里我们接纳xshell做长途毗连。这里由于版本根本上都大同小异,使用起来体验差不多,就不指定版本号了。由于有的小同伴可能必要修改主机名,我们就把长途毗连放在背面了。
xshell下载地址
修改主机名
  1. #查看虚拟机现有名字
  2. hostname
复制代码
假如你觉得这个虚拟机的名字不悦目,我们就改名
  1. sudo vi /etc/hostname
复制代码
把里面的东西删除,更改成你想要的名字,重启虚拟机就可以了。这里我们最根本的虚拟机就安装好了,但是我们由于采取的是最小化安装,我们就还必要安装一些其他的东西。
XShell长途毗连
在上面的配置完成后,我们的ping可以或许搞定三端后(本机,你的win,外网【百度之类】),可以做长途毗连了。
打开下xshell后,右击左上角的新建

毗连

   然后就可以点击确定,大概在用户身份验证哪里输入你的用户名和暗码,不输入,每次都必要输入的。也可以在外貌哪里选择其他的页面设置。
  安装其他东西

下载相应工具组件
  1. [root@localhost ~]# yum install -y epel-release
  2. [root@localhost ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
复制代码
永世关闭防火墙


  • 暂时关闭防火墙

    • 检察防火墙状态systemctl status firewalld
    • 暂时关闭防火墙 systemctl stop firewalld

  • 开机启动时关闭防火墙

    • 检察防火墙开机启动状态systemctl enable firewalld.service
    • 设置开机时关闭防火墙systemctl disable firewalld.service

还可以创建一个用户pier,并设置暗码
  1. #添加用户
  2. [root@localhost ~]# useradd pier   
  3. #设置用户密码
  4. [root@localhost ~]# passwd pier
  5. 更改用户 pier 的密码 。
  6. 新的 密码:
  7. 无效的密码: 密码少于 8 个字符  #这里的提示不用管,自己随意
  8. 重新输入新的 密码:
  9. passwd:所有的身份验证令牌已经成功更新。
复制代码
给用户增长root权限
  1. [root@localhost ~]# vim /etc/sudoers
复制代码
添加下面这一行语句,位置不影响,主要是方便复制。
  1. pier    ALL=(ALL)       NOPASSWD:ALL
复制代码

/opt下创建文件夹
  1. [root@localhost ~]# mkdir /opt/sofeware /opt/module
复制代码
修改文件权限以及所属用户组
  1. [root@localhost opt]# chown pier:pier /opt/module /opt/sofeware/
  2. [root@localhost opt]# ll
  3. 总用量 8
  4. drwxr-xr-x. 2 pier pier 4096 1月   7 00:39 module
  5. drwxr-xr-x. 2 pier pier 4096 1月   7 00:39 sofeware
复制代码


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作