MapReduce是一种面向大数据平台的分布式并行计算框架，它允许使用人员在不会分布式并行编程的情况下，将程序运行在分布式系统上。它提供的并行计算框架，能自动完成计算任务的并行处理，自动划分计算数据，在集群节点上自动分配和执行计算任务，自动收集计算结果，使得开发人员只用关心业务的实现逻辑，大大降低开发负担。

在编写MapReduce程序时，一般由三部分构成，分别是Map、Reduce和Dirver，其中Map和Reduce部分负责业务逻辑的实现，Driver部分为驱动类，负责调用任务，执行MapReduce程序。在编写MapReduce程序之前，需要先创建一个Maven工程，创建的方法为：https://www.cnblogs.com/ynqwer/p/14540108.html，为了方便管理，可以在该目录下面创建一个包，然后在这个包下写代码来完成MapRecude程序。在这个包下面创建三个类，分别实现Map阶段、Reduce阶段和Driver三部分的程序。

Map函数默认按行从HDFS读取数据进行处理，即从HDFS一行一行的将数据读取过来，读取过来的格式为,然后按一定的分隔符切割，最后按key-value的格式输出，即MapReduce的默认输入为一对Key-value对，输出也是一对key-value对。在编写代码时，需要继承MapReduce的Mapper类，并重写Map方法,代码如下：

Reduce阶段的输入数据类型和Map阶段的输出数据类型是一样的，再拿到输入数据之后，就可以进行业务逻辑的编写了，比如WordCount案例需要统计单词数量，然后按照key-value的格式输出。Recude阶段需要继承MapRecude的Reducer类，并重写Reduce方法，代码如下：

Driver部分为驱动类，负责调用任务，执行MapReduce程序。其程序大概可以分为八个步骤：

根据上面步骤，写出代码如下：

三个类都写好之后，就可以打成jar包放到集群中执行了。在eclipse的左侧工程目录里面，鼠标右键点击工程名，然后选择Run AS->Maven clean,完成之后再次鼠标右键点击工程名，然后选择Run AS->Maven install,完成之后会在工程目录中的target目录下出现一个jar包

将jar包放到集群上就可以执行了。在HDFS中创建一个目录/input,往该目录中随便上传一个文件，然后在jar包所在的目录下执行

(注意：上面的com.qwer.mapreduce.wordcount.WordCountDriver为Driver类的全路径,/output为输出目录，如果在执行程序的时候该目录已经存在，程序会报错)

执行完毕后，会自动在HDFS中创建一个/output目录，该目录下为程序执行的结果。