hadoop集群搭建

2024-01-11 13:23| 来源: 网络整理| 查看: 265

1、集群HDFS配置情况

node101:NameNode、DataNode

node102:DataNode

node103:SecondaryNameNode、DataNode

2、出现的问题

启动hdfs后jps命令node101、node102进程齐全，但node103缺少SecondaryNameNode

在node101启动dfs文件，无报错信息：

node101、node102进程齐全：

但node103缺少sendary：

3、解决方法

针对node103缺少的SecondaryNameNode查看node101上的对应日志，日志记录了所有操作的错误信息，logs在hadoop-×××路径下，其他所有节点也都能找到

查看对应日志信息最近的100行就行：

[hana@node101 logs]$ tail -100 hadoop-hana-secondarynamenode-node101.log

往下滑倒最新一条，看到了failed to start secondaynamenode错误信息，刚入门的菜鸡看不懂啥原因，不慌，拿出AI工具拷打逼问一下

这里推荐一个插件，谷歌搜不到了有用信息了随时就能在当前页面ctrl+y唤出，不用新开chatgpt的网页，挺方便，回答质量也挺不错。

直接把报错信息粘贴给ai，返回说错误信息显示secondary配置的9868端口被占用了，

在node103上查看此端口进程

[hana@node103 bin]$ sudo lsof -i :9868

然后kiil -9 PID干掉

[hana@node103 bin]$ sudo kill -9 6522

回到node101上先后停止yarn、hdfs，再启动试试看；

[hana@node101 hadoop-3.2.2]$ sbin/stop-yarn.sh [hana@node101 hadoop-3.2.2]$ sbin/stop-dfs.sh

启动后还是跟之前一样不报错，再jps node103，发现sendary进程成功启动了

4、总结

不管少了哪个进程，先不要烦躁，对应找到操作日志，查看最新错误信息，找到原因，google AI具体报错信息，即可解决

【本文地址】

今日新闻