设为首页收藏本站
开启辅助访问

(十二)map阶段和Reduce阶段执行过程

 您所在的位置：网站首页 › hadoop词频统计代码 › (十二)map阶段和Reduce阶段执行过程

(十二)map阶段和Reduce阶段执行过程

2023-03-14 19:13| 来源: 网络整理| 查看: 265

Hadoop MapReduce官方示例

  想要清楚的感受并了解整个mapReduce的执行过程，可以运行一下官方的两个mapReduce程序，方便我们理解。

概述一个最终完整版本的MR程序需要用户编写的代码和Hadoop自己实现的代码整合在一起才可以；其中用户负责map、reduce两个阶段的业务问题，Hadoop负责底层所有的技术问题；由于MapReduce计算引擎天生的弊端（慢），当下企业中直接使用率已经日薄西山了，所以在企业中工作很少涉及到MapReduce直接编程，但是某些软件的背后还依赖MapReduce引擎。可以通过官方提供的示例来感受MapReduce及其内部执行流程，因为后续的新的计算引擎比如Spark，当中就有MapReduce深深的影子存在。示例说明示例程序路径：/export/server/hadoop-3.3.0/share/hadoop/mapreduce/示例程序：hadoop-mapreduce-examples-3.3.0.jarMapReduce程序提交命令：

[hadoop jar|yarn jar] hadoop-mapreduce-examples-3.3.0.jar args…

提交到哪里去？提交到YARN集群上分布式执行。

评估圆周率π（PI）的值

圆周率π大家都不陌生，如何去估算π的值呢？Hadoop MapReduce示例提供了Monte Carlo方法计算圆周率。

Monte Carlo方法假设正方形边长为1，圆半径也为1，那么1/4圆的面积为：image.png在正方形内随机撒点，分布于1/4圆内的数量假设为a ，分布于圆外的数量为b，N则是所产生的总数：N=a+b那么数量a与N的比值应与1/4圆面积及正方形面积成正比，于是：image.pngimage.png

运行MapReduce程序评估一下圆周率的值，执行中可以去YARN页面上观察程序的执行的情况。第一个参数：pi表示MapReduce程序执行圆周率计算任务；第二个参数：用于指定map阶段运行的任务task次数，并发度，这里是10；第三个参数：用于指定每个map任务取样的个数，这里是50。

root@node1 mapreduce]# pwd/export/server/hadoop-3.3.0/share/hadoop/mapreduce[root@node1 mapreduce]# hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 1050

image.png

wordcount单词词频统计

WordCount中文叫做单词统计、词频统计；指的是统计指定文件中，每个单词出现的总次数。

WordCount算是大数据计算领域经典的入门案例，相当于Hello World。虽然WordCount业务极其简单，但是希望能够通过案例感受背后MapReduce的执行流程和默认的行为机制，这才是关键。

image.png

WordCount编程实现思路map阶段的核心：把输入的数据经过切割，全部标记1，因此输出就是。shuffle阶段核心：经过MR程序内部自带默认的排序分组等功能，把key相同的单词会作为一组数据构成新的kv对。reduce阶段核心：处理shuffle完的一组数据，该组数据就是该单词所有的键值对。对所有的1进行累加求和，就是单词的总次数。

image.png

上传文本文件1.txt到HDFS文件系统的/input目录下，如果没有这个目录，使用shell创建hadoop fs -mkdir /inputhadoop fs -put 1.txt /input

准备好之后，执行官方MapReduce实例，对上述文件进行单词次数统计第一个参数：wordcount表示执行单词统计任务；第二个参数：指定输入文件的路径；第三个参数：指定输出结果的路径（该路径不能已存在）；

[root@node1 mapreduce]# pwd/export/server/hadoop-3.3.0/share/hadoop/mapreduce[root@node1 mapreduce]# hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output

image.png

WordCount执行流程图

image.png

MapReduce整体执行流程图

image.png

Map阶段执行过程

第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认Split size = Block size（128M），每一个切片由一个MapTask处理。（getSplits）

第二阶段：对切片中的数据按照一定的规则读取解析返回对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）

第三阶段：调用Mapper类中的map方法处理数据。每读取解析出来的一个 ，调用一次map方法。

image.png

第四阶段：按照一定的规则对Map输出的键值对进行分区partition。默认不分区，因为只有一个reducetask。分区的数量就是reducetask运行的数量。第五阶段：Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出spill的时候根据key进行排序sort。默认根据key字典序排序。第六阶段：对所有溢出文件进行最终的merge合并，成为一个文件Reduce阶段执行过程第一阶段：ReduceTask会主动从MapTask复制拉取属于需要自己处理的数据。第二阶段：把拉取来数据，全部进行合并merge，即把分散的数据合并成一个大的数据。再对合并后的数据排序。第三阶段是对排序后的键值对调用reduce方法。键相等的键值对调用一次reduce方法。最后把这些输出的键值对写入到HDFS文件中。

image.png

shuffle概念Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。

image.png

Map端ShuffleCollect阶段：将MapTask的结果收集输出到默认大小为100M的环形缓冲区，保存之前会对key进行分区的计算，默认Hash分区。Spill阶段：当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner，还会将有相同分区号和key的数据进行排序。Merge阶段：把所有溢出的临时文件进行一次合并操作，以确保一个MapTask最终只产生一个中间数据文件。

image.png

Reducer端shuffleCopy阶段：ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据。Merge阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。Sort阶段：在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了局部的排序，ReduceTask只需保证Copy的数据的最终整体有效性即可。

image.png

shuffle机制弊端Shuffle是MapReduce程序的核心与精髓，是MapReduce的灵魂所在。Shuffle也是MapReduce被诟病最多的地方所在。MapReduce相比较于Spark、Flink计算引擎慢的原因，跟Shuffle机制有很大的关系。Shuffle中频繁涉及到数据在内存、磁盘之间的多次往复。

传送门

(一) 初探Hadpoop(二) hadoop发行版本及构架的变迁(三) hadoop安装部署集群介绍(四) hadoop安装部署-基础环境搭建(五) hadoop安装部署-配置文件详解(六) hadoop集群启停命令、Web UI(七) hadoop-HDFS文件系统基础(八) Hadoop-HDFS起源发展及设计目标(九) Hadoop-HDFS重要特性、shell操作(十) Hadoop-HDFS工作流程与机制(十一) 如何理解Hadoop MapReduce思想(十二) map阶段和Reduce阶段执行过程

待更新



【本文地址】


今日新闻

推荐新闻

CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3