hadoop格式化(hadoop format)的注意事项

您所在的位置:网站首页 format命令影响 hadoop格式化(hadoop format)的注意事项

hadoop格式化(hadoop format)的注意事项

2024-07-17 20:25| 来源: 网络整理| 查看: 265

格式化命令:

1.关于hdfs的格式化

首次启动前需要进行格式化。 格式化本质是进行文件系统的初始化操作,创建一些hadoop自己所需要的文件。 格式化之后且集群启动成功后,后续再也不需要进行格式化。 格式化的操作在hdfs集群的主角色(namenode)所在机器上操作。 命令如下:

hdfs namenode–format hadoop namenode –format

2.格式化涉及到的配置文件

关于hadoop的配置文件:

**-site.xml 这里面配置了用户需要自定义的配置选项. 如不配置,就按官网的默认配置进行初始化

在官网可以查看默认配置的信息: 这里写图片描述 这里写图片描述

浏览默认配置可见,大所述路径都是在hadoop.tmp.dir的子路径下,故本人的路径只更改了hadoop.tmp.dir一个.core-site.xml内容如下:

fs.defaultFS hdfs://data01:9000 hadoop.tmp.dir /export/data/hddata

site中配置选项优先级>Default中的,如果有配置的话 就会覆盖默认的配置选项

3.使用一段时间后的hadoop格式化

我遇到的问题: hadoop 启动后进到安全模式了 然后单节点启动时,1虚拟机是好的,2.3虚拟机上的datanode启动后有进程,但是不加blocks。

无法解决所以就决定格式化。格式化的操作步骤如下:

(1) 找到data和name配置的dir路径,找到 core-site.xml 找到dir路径 (2) 再到dir路径下删除Hadoop的临时文件路径 (3) 清空hadoop路径下的logs文件夹 (4) 重新执行命令:hadoop namenode -format

参考文章:https://my.oschina.net/HIJAY/blog/220816

注: 由于格式化会清空数据 , 在启动HIVE仓库前 ,需将之前mysql中的元数据库hive删除



【本文地址】


今日新闻


推荐新闻


    CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3