关于hadoop 的shuffle 过程详解及其调优（面试题常考） |
您所在的位置：网站首页 › 简述spark的shuffle过程 › 关于hadoop 的shuffle 过程详解及其调优（面试题常考） |
关于hadoop 的shuffle 过程详解及其调优（面试题常考）
|
MapReduce的shuffle流程
Shuffle 机制Shuffle 调优
1）Map 方法之后Reduce 方法之前这段处理过程叫Shuffle 2)Map 方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key 的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combiner 操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce 端拉取。 3）每个Reduce 拉取Map 端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进入Reduce 方法前，可以对数据进行分组操作。 Shuffle 调优 在分区方法getPartition的时候通过自定义分区的形式,来解决数据倾斜的文问题。环形缓冲区大的大小默认从100M调整到200M,80%->90%。这么做的本质上是减少了溢写文件的个数,后面归并操作就更加容易了。(在这里还可以进一步调优,默认归并10个,可以调到20个)提前Combiner操作,不影响最终的业务逻辑,求和不影响,求平均值不行。通过压缩,减少磁盘上的传输。这个阶段的要求就是速度要够快,可以采用Snappy/Lzo。(额外增加一个复习知识点:MR有3个阶段可以压缩: Map方法之前:数据量小的话,采用Snappy/lZO;数据量大的话要满足切片:LZO/BZIP2;MAP方法之后,要满足速度快的特点:SNAPPY/LAZO;Reduce方法之后:看需求,压缩完需要永久保存的话,文件越小越好,考虑BZIP2)提高Reduce端拉取Map端的个数增加Reduce的内存看到一篇不错的有关shuffle调优的文章: https://www.cnblogs.com/duma/p/10704544.html |
【本文地址】