• 售前

  • 售后

热门帖子
入门百科

Hadoop——第一部份 Hadoop入门——一、Hadoop概述

[复制链接]
123457443 显示全部楼层 发表于 2022-1-8 18:09:37 |阅读模式 打印 上一主题 下一主题
第一部份 Hadoop入门

一、Hadoop概述



  • 介绍
  • 发行版本
  • 特点
  • 组成
  • 大数据技术生态体系
1.1 Hadoop概念



  • Hadoop是Apache基金会开辟的分布式体系底子架构
  • 重要解决海量数据存储和分析计算
  • 广义Hadoop指Hadoop生太圈
1.2 Hadoop发行版



  • Apache原始开源版
  • Cloudera商业版CDH
  • Hortonworks商业版HDP
  • 两家公司归并后的商业版CDP
1.3 Hadoop特点



  • 高可靠——多副本
  • 高扩展——动态增长服务器
  • 高效——并行工作
  • 高空错——失败使命重新分配
1.4 Hadoop组成

功能1.x2.x计算MapReduceMapReduce资源调理MapReduceYarn数据存储HDFSHDFS辅助工具CommonCommon

  • HDFS
    HDFS(Hadoop Distributed File System)是Hadoop分布式文件体系。


  • NameNode(nn)——文件源数据
  • DataNode(dn)——文件数据
  • Secondary NameNode(2nn)——nn定期备份(非热备)
源数据,是描述数据的数据,用于描术数据的属性信息

  • Yarn
    Yarn(Yet Another Resource Negotiator)是Hadoop资源管理器。


  • ResourcesManager(RM)——集群资源管理器
  • NodeManager(NM)——节点管理器
  • ApplicationMaster(AM)——应用管理器
  • Container——容器(独立服务器)

  • MapReduce


  • Map阶段——并行处置惩罚输入数据
  • Reduce阶段——效果汇总

  • 运作方式
1.5 大数据技术生态体系


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作