【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！ [返回Spark教程首页] Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处理速度快 100 倍。本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。 本教程采用Spark2.0以上版本（比如Spark2.0.2、Spark2.1.0等）搭建集群，同样适用于搭建Spark1.6.2集群。

Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境。如果没有配置好Hadoop的分布式集群环境，请点击Hadoop 2.7分布式集群环境搭建，根据教程进行安装。（备注：本教程采用Spark2.0搭建集群，同样适用于搭建Spark1.6.2集群）

这里采用3台机器（节点）作为实例来演示如何搭建Spark集群，其中1台机器（节点）作为Master节点，另外两台机器（节点）作为Slave节点（即作为Worker节点），主机名分别为Slave01和Slave02。 在Master节点机器上，访问Spark官方下载地址，按照如下图下载。 下载完成后，执行如下命令：

在Mster节点主机的终端中执行如下命令：

在.bashrc添加如下配置：

执行如下命令使得配置立即生效：

在Master节点主机上进行如下操作：

slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容：

编辑spark-env.sh,添加如下内容：

SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址；

配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上。在Master主机上执行如下命令：

在slave01,slave02节点上分别执行下面同样的操作：

启动Spark集群前，要先启动Hadoop集群。在Master节点主机上运行如下命令：

在Master节点上运行jps命令，可以看到多了个Master进程：

分别在slave01、slave02节点上运行jps命令，可以看到多了个Worker进程

阅读下一篇：在集群上运行Spark应用程序