yarn的web界面查看log时出现的问题 |
您所在的位置:网站首页 › yarn查看失败日志 › yarn的web界面查看log时出现的问题 |
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all.
参考:https://blog.csdn.net/lisongjia123/article/details/78639058 但是这篇文章跟官网有一定的出入,我做了一定修正 解决方法 官方文档显示yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:
1.在yarn-site.xml文件中添加日志监控支持 yarn.log-aggregation-enable true yarn.log-aggregation-enable官网中的默认值为false 2在mapred-site.xml文件中添加日志服务的配置
mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888 mapreduce.framework.name官网默认值是local 要让他在yarn上跑就把local改为yarn
mapreduce.jobhistory.webapp.address 和mapreduce.jobhistory.address值分别为默认0.0.0.0:19888 和0.0.0.0:10020
3.将修改后的配置文件拷贝到集群中的其他机器(单机版hadoop可以跳过该步骤) 快捷一点可以使用 scp 命令将配置文件拷贝覆盖到其他机器 scp yarn-site.xml skyler@slave1:/hadoopdir/etc/hadoop/scp mapred-site.xml skyler@slave1:/hadoopdir/etc/hadoop/…其他datanode机器同理四、重新启动集群的Hdfs和Yarn服务 在namenode机器上分别对hdfs和yarn服务进行重启 bin/stop-dfs.shbin/start-dfs.shbin/stop-yarn.shbin/start-yarn.sh
在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令,执行完成后使用jps命令查看是否启动成功,若启动成功则会显示出JobHistoryServer服务 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |