完美解决Hadoop 每次打开虚拟机重启hadoop都要重新格式化才能启动Namenode或DataNode节点的问题

您所在的位置:网站首页 linux虚拟机重启开不了怎么办 完美解决Hadoop 每次打开虚拟机重启hadoop都要重新格式化才能启动Namenode或DataNode节点的问题

完美解决Hadoop 每次打开虚拟机重启hadoop都要重新格式化才能启动Namenode或DataNode节点的问题

2024-07-05 09:40| 来源: 网络整理| 查看: 265

我的情况是:

起初安装配置好hadoop后(安装搭建hadoop集群详细步骤),使用jps命令都可以查看到NameNode,SecondaryNameNode,jps,ResourceManager,NodeManager,DataNode节点,但是每天打开电脑重新启动虚拟机,启动集群后,要么namenode节点没了,要么就是datanode节点没了。删除安装包下的logs和tmp,再重新启动hadoop也没有用。后面我一顿百度终于找到了原因所在: 在配置hdfs时,我们只配置了datanode的目录,而没有配置namenode的相关信息。默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失。所以,每次一开机,集群找不到namenode的信息,故每次都要重新格式化集群。

我的解决方案:

修改hadoop260/etc/hadoop目录下的core-site.xml文件末尾中,加入如下的配置

hadoop.tmp.dir /opt/soft/hadoop260/Hadoop_tmp

这里我将从hadoop官网下载的hadoop-2.6.0-cdh5.14.2.tar.gz的安装包解压在/opt目录下, 然后将解压好的文件移到soft目录下并重命名为hadoop260,然后再在hadoop260目录下建立Hadoop_tmp目录,用于存放namenode的信息。

配置好后使用命令hdfs namenode -format重新格式化,再使用命令start-all.sh启动hadoop就可以了。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3