如何搭建ubuntu版hadoop集群

1.下载hadoop安装包

从官网下载hadoop安装包，目前最新版本为2.7.3。

2.解压安装包

将下载好的安装包解压到指定目录，这里我们将其解压到/usr/local目录下。

3.修改配置文件

打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，修改JAVA_HOME变量为当前系统安装的jdk路径。

4.配置hadoop集群

打开/usr/local/hadoop/etc/hadoop/core-site.xml文件，修改配置如下：

fs.defaultFS

hdfs://localhost:9000

打开/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件，修改配置如下：

dfs.replication

1

打开/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，修改配置如下：

mapreduce.framework.name

yarn

打开/usr/local/hadoop/etc/hadoop/yarn-site.xml文件，修改配置如下：

yarn.nodemanager.aux-services

mapreduce_shuffle

5.启动hadoop集群

使用如下命令启动hadoop集群：

$ /usr/local/hadoop/bin/hadoop namenode -format

$ /usr/local/hadoop/sbin/start-all.sh

6.检查hadoop集群状态

使用如下命令检查hadoop集群状态：

$ /usr/local/hadoop/bin/hadoop dfsadmin -report

如果hadoop集群启动成功，则会显示如下信息：

Configured Capacity: 12884901888 (12.0 GB)

Present Capacity: 12884901888 (12.0 GB)

DFS Remaining: 12884901888 (12.0 GB)

DFS Used: 0 (0 B)

DFS Used%: 0.0%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

Missing blocks (with replication factor 1): 0

...

...

...

7.停止hadoop集群

使用如下命令停止hadoop集群：

$ /usr/local/hadoop/sbin/stop-all.sh