(超详细版) Linux下安装配置Hadoop2.7.7集群环境搭建 |
您所在的位置：网站首页 › hadoop集群部署中为什么要在linux中安装ssh › (超详细版) Linux下安装配置Hadoop2.7.7集群环境搭建 |
(超详细版) Linux下安装配置Hadoop2.7.7集群环境搭建
|
1. (超详细版) Linux下安装配置Hadoop2.7.7集群环境搭建—基础环境配置 2. (超详细版) Linux下安装配置Hadoop2.7.7集群环境搭建—部署Hadoop 一、下载并解压hadoop2.7.7 cd /usr/local wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -zxvf hadoop-2.7.7.tar.gz 二、配置环境变量 vi /etc/profile #添加如下配置 export HADOOP_HOME=/usr/local/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin #使配置生效 source /etc/profile #测试（输入hadoop有提示则表示成功） hadoop #将profile发送到其他节点 scp /etc/profile hadoop@xt2:/etc scp /etc/profile hadoop@xt3:/etc #记得在其他节点下source source /etc/profile 三、Hadoop的配置 1. 创建文件目录为了便于管理，给xt1的hdfs的NameNode、DataNode及临时文件，在用户目录下创建目录： #在usr/local下创建hdfs目录 cd /usr/local mkdir hdfs cd hdfs mkdir name mkdir data mkdir tmp #将hdfs文件夹传到其他两个节点，注意权限问题 chmod 777 usr/local #其他节点也要 chmod 777 usr/local/hdfs scp -r /usr/local/hdfs hadoop@xt2:/usr/local scp -r /usr/local/hdfs hadoop@xt3:/usr/local 2. Hadoop的配置 # 进入hadoop-2.7.7的配置目录： cd /user/hadoop-2.7.7/etc/hadoop依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件。 core-site.xml的配置如下 hadoop.tmp.dir file:/usr/local/hdfs/tmp io.file.buffer.size 131072 fs.default.name hdfs://xt1:9000 hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *修改hdfs-site.xml vi hdfs-site.xmlhdfs-site.xml的配置如下 dfs.replication 2 dfs.namenode.name.dir file:/usr/local/hdfs/name true dfs.datanode.data.dir file:/usr/local/hdfs/data true dfs.namenode.secondary.http-address xt1:9001 dfs.webhdfs.enabled true dfs.permissions false添加修改mapred-site.xml #将mapred-site.xml.template复制为mapred-site.xml cp mapred-site.xml.template mapred-site.xmlmapred-site.xml的配置如下 mapreduce.framework.name yarn修改yarn-site.xml vi yarn-site.xml yarn.resourcemanager.address xt1:8010 yarn.resourcemanager.scheduler.address xt1:8011 yarn.resourcemanager.webapp.address xt1:8012 yarn.resourcemanager.resource-tracker.address xt1:8013 yarn.resourcemanager.admin.address xt1:8014 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.nodemanager.resource.memory-mb 2048 yarn.nodemanager.resource.cpu-vcores 1修改slaves和hadoop-env.sh文件 #修改slaves文件 vi /usr/local/hadoop-2.7.7/etc/hadoop/slaves #将localhost改成下方 xt2 xt3 #修改hadoop-env.sh文件(注释掉之前的，添加完整路径) vi /usr/local/hadoop-2.7.7/etc/hadoop/hadoop-env.sh #export JAVA_HOME=${JAVA_HOME} export JAVA_HOME=/usr/local/jdk1.8.0_141 3. 将hadoop2.7.7的文件夹复制到xt2和xt3 scp -r /usr/local/hadoop-2.7.7 hadoop@xt2:/usr/local scp -r /usr/local/hadoop-2.7.7 hadoop@xt3:/usr/local 四、运行Hadoop #格式化 hadoop namenode -format cd /usr/local/hadoop-2.7.7/sbin/ #启动hadoop sh ./start-all.sh #查看集群状态 /usr/local/hadoop-2.7.7/bin/hdfs dfsadmin -report
|
修改core-site.xml配置
【本文地址】
今日新闻 |
推荐新闻 |