hadoop搭建四个配置文件(core

您所在的位置：网站首页 › 常用的配置文件 › hadoop搭建四个配置文件(core

hadoop搭建四个配置文件(core

2023-10-14 11:25| 来源: 网络整理| 查看: 265

hadoop下载地址 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz

解压后设置环境变量

一、core-site.xml fs.defaultFS hdfs://DEV2:8020 hadoop.tmp.dir file:/data/hadoop/hadoop-2.6.0/tmp fs.checkpoint.period 3600 二、hdfs-site.xml dfs.replication 2 dfs.namenode.name.dir file:/data/hadoop/hadoop-2.6.0/tmp/dfs/name dfs.datanode.data.dir file:/data/hadoop/hadoop-2.6.0/tmp/dfs/data

进入 H A D O O P H O M E / b i n 进行 n a m e n o d e 格式化 ‘ . / h d f s n a m e n o d e − f o r m a t ‘ 进入 HADOOP_HOME/bin 进行namenode格式化 `./hdfs namenode -format` 进入 HADOOPHOME/bin进行namenode格式化‘./hdfsnamenode−format‘进入HADOOP_HOME/sbin 启动hdfs ./start-dfs.sh http://dev2:50070 查看hadoop url

三、 mapred-site.xml mapreduce.framework.name yarn 四、 yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname master yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.log-aggregation-enable true

进入$HADOOP_HOME/sbin 启动yarn ./start-yarn.sh http://dev2:8088/cluster 查看hadoop信息运行mapreduce例子 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.jar pi 2 3

【本文地址】

hadoop搭建四个配置文件(core

hadoop搭建四个配置文件(core

今日新闻

推荐新闻