Hadoop各配置文件详解 |
您所在的位置：网站首页 › hadoop的补充配置与常用脚本有关吗知乎 › Hadoop各配置文件详解 |
|
1、Hadoop各目录说明
文件夹名称作用bin存放对hadoop相关服务（HDFS,YARN）进行操作的脚本sbin存放启动或停止hadoop相关服务的脚本etchadoop的配置文件目录，存放hadoop的配置文件lib存放hadoop的本地库（对数据进行压缩解压缩功能）share存放hadoop的依赖jar包和文档，文档可以被删除掉
2、各个配置文件的作用
配置文件的名称作用core-site.xml核心配置文件，主要定义了我们文件访问的格式 hdfs://hadoop-env.sh主要配置我们的java路径hdfs-site.xml主要定义配置我们的hdfs的相关配置mapred-site.xml主要定义我们的mapreduce相关的一些配置slaves控制我们的从节点在哪里 datanode nodemanager在哪些机器上yarm-site.xml配置我们的resourcemanager资源调度
slaves
把所有从节点的主机名写到这儿就可以，这是告诉hadoop进程哪些机器是从节点。每行写一个，例如： hadoop02 hadoop03 hadoop04注：前提是你已经为每个节点进行了hostname的命名。而且每个节点的hosts文件你修改了本地dns的指向，让这些主机指向约定好的IP。然后每个节点的hosts文件保持同步。 core-site.xml主要配置： 文件系统采用hdfs实现 临时数据存放的位置 缓冲区大小，实际工作中根据服务器性能动态调整 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /usr/local/hadoop-2.8.3/tmp io.file.buffer.size 4096 fs.trash.interval 10080 ha.zookeeper.quorum jokerq1:2181,jokerq2:2181,jokerq3:2181 hdfs-site.xml主要配置： NameNode与2nn的访问地址 NameNode与DataNode数据的存放路径 FSImage,Edits,Checkpoint的存放位置 设置文件的副本数，一份文件保存多少份 设置文件存储的block块大小 128M dfs.namenode.name.dir /usr/local/hadoop-2.8.3/data/name dfs.namenode.http-address node01:50070 dfs.datanode.data.dir /usr/local/hadoop-2.8.3/data/data dfs.replication 3 dfs.permissions false dfs.blocksize 134217728 dfs.secondary.http.address hadoop01:50090 dfs.namenode.secondary.http-address node01:50090 dfs.namenode.edits.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits dfs.namenode.checkpoint.dir file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name dfs.webhdfs.enabled true hadoop-env.sh主要配置java路径 # The java implementation to use. export JAVA_HOME=/usr/local/jdk1.8.0_102 mapred-site.xml注意要将mapred-site.xml.template重命名为 .xml的文件 mapreduce.framework.name yarn mapreduce.job.ubertask.enable true mapreduce.jobhistory.address hadoop01:10020 mapreduce.jobhistory.webapp.address hadoop02:19888通过，mapred-site.xml，我们又出现了2个访问地址： MapReduce内部的一个通讯地址：hadoop01:10020 MapReduce外部web访问的地址：hadoop02:19888 Yarn-Site.xml yarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800 yarn.resourcemanager.address hadoop01:8032 yarn.resourcemanager.scheduler.address hadoop01:8030 yarn.resourcemanager.resource-tracker.address hadoop01:8031 yarn.resourcemanager.admin.address hadoop01:8033 yarn.resourcemanager.webapp.address singlehost:8088这个文件就是配置资源管理系统yarn了，其中主要指定了一些节点资源管理器nodemanager，以及总资源管理器resourcemanager的配置。 可以看到这个配置中，跟mapreduce框架是相关的。 可见yarn首先是为了支持mapreduce这个模型，之后很多其他的框架都是基于mapreduce以及yarn的功能基础上开发出来的。 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |