Hadoop集群部署

#Hadoop集群部署| 来源: 网络整理| 查看: 265

首先在Master节点解压文件，进入Hadoop的目录，我这里下载的是hadoop-2.7.7。

解压后的文件目录是 /home/yellow/hadoop-2.7.7。

master节点的主机名为master。

1. 配置core-site.xml（设置NameNode的位置） fs.default.name hdfs://master:9000 fs.defaultFS hdfs://master:9000 2. 配置hdfs-site.xml（设置HDFS的路径） dfs.namenode.name.dir /home/yellow/hadoop-2.7.7/data/nameNode dfs.datanode.data.dir /home/yellow/hadoop-2.7.7/data/dataNode dfs.replication 1 3. 配置mapred-site.xml（设置YARN为任务管理器） mapreduce.framework.name yarn 4. 配置yarn-site.xml（设置YARN的一些信息） yarn.acl.enable 0 yarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.address master:8032 5. 配置slaves文件。（Hadoop3之后该文件名变为workers）

此处为主从结构中所有slave节点的主机名或者IP地址）。我的集群有1台master节点以及3台slave节点，名字分别为slave1、slave2和slave3。

slave1

slave2

slave3

6. 配置hadoop-env.sh（此处的环境变量应与系统的JAVA环境变量相同） export JAVA_HOME=/home/yellow/jdk-11.0.12 7. 将master节点配置好的hadoop文件，分发到其余所有slave节点。 8. 配置环境变量 vim ~/.bashrc

在文件末尾追加

export HADOOP_HOME=/home/yellow/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export LD_LIBRARY_PATH=${HADOOP_HOME}/lib/native export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 9. 刷新环境变量 source ~/.bashrc 10. Hadoop集群的初始化

Hadoop启动之前，需要进行namenode节点的初始化

hdfs namenode -format 11. 启动Hadoop集群中的HDFS以及Yarn start-dfs.sh start-yarn.sh

【本文地址】

Hadoop集群部署

Hadoop集群部署

今日新闻

推荐新闻