解决Hadoop namenode无法启动以及修改hdfs的存放位置

您所在的位置:网站首页 hdfs默认路径 解决Hadoop namenode无法启动以及修改hdfs的存放位置

解决Hadoop namenode无法启动以及修改hdfs的存放位置

2023-10-14 14:01| 来源: 网络整理| 查看: 265

重启计算机之后,遇到了一个问题,执行start-all.sh之后,执行JPS命令,发现namenode没有启动。 每次开机都得重新格式化一下namenode才可以。 原因: hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,但是在/tmp路径下的存储是不安全的,默认的/tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失。 于是我们得重新配置一个tmp文件目录。

首先在hdp用户目录下建立一个hadoop_tmp目录:sudo mkdir ~/hadoop_tmp

由于刚才是创建的时候,文件夹所属用户和用户组都是root 因此需要将文件拥有者改为指定的用户或组。

然后修改**/software/hadoop/etc/hadoop/**目录里面的core-site.xml文件,加入以下节点:

hadoop.tmp.dir /home/hdp/hadoop_tmp A base for other temporary directories.

注意:我的用户是hdp所以目录是/home/hdp/hadoop_tmp

OK了,重新格式化Namenode:hadoop namenode -format

然后启动hadoop:start-all.sh 执行下JPS命令就可以看到NameNode了。

修改hdfs的存放位置

注:hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置,默认就放在这个路径中。

NameNode dfs.name.dir 预设值 : ${hadoop.tmp.dir}/dfs/name

DataNode dfs.data.dir 预设值 : ${hadoop.tmp.dir}/dfs/data

这里我们自定义文件路径。 打开/etc/hadoop/hdfs-site.xml文件,添加如下配置:

dfs.name.dir /software/hadoop/hdfs/name name>dfs.data.dir /software/hadoop/hdfs/data



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3