假如有这样一个例子，需要统计过去10年计算机论文中出现次数最多的几个单词，以分析当前的热点研究议题是什么。那么，在将论文样本收集完毕之后，接下来应该怎样做呢？ 这一经典的单词计数案例可以采用MapReduce处理。MapReduce中已经自带了一个单词计数程序WordCount，如同Java中的经典程序“Hello World”一样，WordCount是MapReduce中统计单词出现次数的Java类，是MapReduce的入门程序。该程序要求计算出文件中单词的出现次数，并将输出结果输出到HDFS文件系统中，且按照单词的字母顺序进行排序，每个单词和其出现次数占一行，单词与出现次之间有间隔。

例如，输入内容如下的文件：

其符合要求的输出结果如下：

下面进一步对上述WordCount程序进行分析。

WordCount对于单词计数问题的解决方案很直接：先将文件内容切分成单词，然后将所有相同的单词聚集到一起，最后计算各个单词出现的次数，将计算结果排序输出。 根据MapReduce并行设计的原则可知：解决方案中的内容切分步骤和内容不相关，可以并行化处理，每个拿到原始数据的节点只需要将输入数据切分成单词就可以了，因此可由Mapping阶段完成单词切分的任务；另外，不同单词之间的频数也不相关，所以对相同单词频数的计算也可以并行化处理，将相同的单词交由同一节点来计算频数，然后输出最终结果，该任务可由Reduce阶段完成；至于将Mapping阶段的输出结果根据不同单词进行分组，然后再发送给Reduce节点的任务，可由MapReduce中的Shuffle阶段完成。 由于MapReduce中传递的数据都是键值对形式的，而且Shuffle的排序、聚集和分发也是按照键值进行的，因此，可将Map的输出结果设置为以单词作为键，1作为值的形式，表示某单词出现了1次（输入Map的数据则采用Hadoop默认的输入格式，即文件的一行作为值，行号作为键）。由于Reduce的输入是Map的输出聚集后的结果，因此格式为，也就是；Reduce的输出则可由设置成与Map输出相同的形式，只是后面的数值不再是固定的1，而是具体计算出的某单词所对应的频数。

WordCount程序的执行流程如下图：

WordCount程序类的源代码如下所示：

main函数中的job.setCombinerClass(IntSumReducer.class);指定了Map规约的类，也可以不使用Reduce类而进行自定义。这里的规约combine的含义是，将Map结果进行一次本地的reduce操作，从而减轻远程reduce的压力。例如，Map阶段有只是把两个相同的hello进行规约，由此输入给reduce的就变成了。在实际的Hadoop集群操作中，我们是由多台主机一起进行MapReduce的，如果加入规约操作，每一台主机会在reduce之前进行一次对本机数据的规约，然后在通过集群进行reduce操作，这样就会大大节省reduce的时间，从而加快MapReduce的处理速度。

下面以统计Hadoop安装目录下的LICENSE.txt文件中的单词频数为例，讲解如何运行上述单词计数程序WordCount，操作步骤如下： （1）执行以下命令，在HDFS根目录下创建文件目录input：

（2）进入Hadoop安装目录，找到文件LICENSE.txt，然后执行以下命令，将其放到HDFS的/input目录下：

（3）执行以下命令，运行Hadoop自带的WordCount程序：

需要注意的是，HDFS根目录不应存在文件夹output，程序会自动创建。若存在则会报错。 若输出以下信息，表示程序运行正常：

（4）程序运行的结果以文件的形式存放在HDFS的/output目录下，执行以下命令，可以将运行结果下载到本地查看：

数据去重是通过并行化思想来对数据进行有意义的筛选。许多看似庞杂的任务，如统计大数据集上的数据种类个数、从网站日志中计算访问地点等都会涉及数据去重。 本例中，已知有两个文件file1.txt和file2.txt，需要对这两个文件中的数据进行合并去重，文件中的每行是一个整体。

file1.txt的内容如下：

file2.txt的内容如下：

期望的输出结果：

数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。本例中，每个数据代表输入文件中的一行内容。采用Hadoop默认输入方式输入到Map的键值对中，key是数据所在文件的位置下标，value是数据的内容。而Map阶段的任务就是将接收到的value设置为key，并直接输出（输出数据中的value任意）。Map输出的键值对经过Shuffle过程会聚集成后交给Reduce，此时所有的key实际上已经做了去重处理。因此，在Reduce阶段，当Reduce接收到一个时，不用管每个key有多少个value，直接将其中的key复制到输出的key中，并将value设置成空值，就可以得到数据去重的结果。

在eclipse中新建一个Maven项目，在项目的pom.xml文件中加入项目的Hadoop依赖库，代码如下：

然后，在项目中新建包com.hadoop.mr，并在包中写入数据去重的程序代码：

上述程序中，程序的map函数将接收到的键值对中的value直接赋给了函数输出键值对中的key，而输出的value则被置为了空字符串。程序的reduce函数将接收到的键值对数据中的key直接作为函数输出键值对中的key，而输出的value则置为了空字符串。

该程序需要在Hadoop集群环境下运行，步骤如下： （1）在eclipse中将完成的MapReduce项目导出为jar包，命名为Dedup.jar，然后上传到Hadoop服务器的相应位置。本例将其上传到Hadoop的安装目录下。 （2）在HDFS根目录下创建input文件夹，命令如下：

（3）将准备好的示例文件file1.txt和file2.txt使用SSH工具上传到Hadoop安装目录下，并进入Hadoop安装目录，执行以下命令，将示例文件上传到HDFS中新建的/input目录下：

（4）在Hadoop安装目录中，执行以下命令，运行写好的MapReduce数据去重程序：

（5）程序运行完毕后，会在HDFS的根目录下生成output目录，并在output目录中生成part-r-00000文件，程序执行结果即存放于此文件中。可以执行以下命令，查看程序执行结果：

如果能正确显示预期结果，则表明程序编写无误。

本例通过对输入文件中的学生三科成绩进行计算，得出每个学生的平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，每门学科为一个文件。要求在输出中每行有两个数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。

输入文件内容如下： math.txt：

chinese.txt：

english.txt：

期望输出结果如下：

我们都知道，Mapper最终处理的结果对，会送到Reducer中进行合并，合并的时候，有相同key的对则送到同一个 Reducer上。Reducer是所有用户定制Reducer类地基础，它的输入是key和这个key对应的所有value的一个迭代器，同时还有 Reducer的上下文。Reduce的结果由Reducer.Context的write方法输出到文件中。 MapReduce经典的WordCount（单词计数）例子是将接收到的每一个value-list进行求和，进而得到所需的结果。而本例中，我们将reduce阶段接收到的value-list进行求平均分后，作为reduce要输出的value值即可，reduce要输出的key值仍然为接收到的key。 整个求平均分的流程如下图：

项目的新建及jar包的引入见上方的数据去重案例。 完整程序源代码如下：

注意的问题： Hadoop在涉及编码时默认使用的是UTF-8，如果文件编码格式是其它类型（如GBK)，则会出现乱码。此时只需在mapper或reducer程序中读取Text时，进行一下转码，确保都是以UTF-8的编码方式在运行即可。转码的核心代码如下： String line=new String(value.getBytes(),0,value.getLength(),"GBK"); 若直接以String line=value.toString(); 进行转码也会输出乱码，原因是由Text这个Writable类型造成的。虽然Text是String的Writable类的封装，但它俩还是有区别的。Text是一种UTF-8格式的Writable，而Java中的String是Unicode字符。所以直接使用value.toString会默认其中的字符都是UTF-8编码过的，因而GBK编码的数据直接使用该方法就会变成乱码。

原创文章，转载请注明出处！！