Hadoop的起源及发展历程

2023-08-28 12:50| 来源: 网络整理| 查看: 265

Hadoop之父 Doug Cutting 在这里插入图片描述

Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。 ——分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。为什么叫Hadoop? Logo为什么是黄色的大象？

狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPREDUCE）广义上来说，Hadoop指代大数据的一个生态圈（Hadoop生态圈），包括很多其他的软件。在这里插入图片描述

Hadoop的历史版本介绍

0.x系列版本：Hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本 1.x版本系列：Hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等 2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性在这里插入图片描述

Hadoop的模块组成

1、HDFS：一个高可靠、高吞吐量的分布式文件系统。 (海量数据的存储) HDFS集群包括，NameNode和DataNode以及Secondary Namenode。管理者:NameNode详细介绍辅助管理者(无法替代管理者)SecondaryNameNode 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息工作者:DataNode详细介绍 2、MapReduce：一个分布式的离线并行计算框架(海量数据的计算)。 3、YARN：集群资源(调度)管理的框架。管理者:ResourceManager

工作者:NodeManager 4、Common：支持其他模块的工具模块。

【本文地址】

Hadoop的起源及发展历程

Hadoop的起源及发展历程

今日新闻

推荐新闻