查看Linux系统日志及Hadoop日志

您所在的位置:网站首页 linux怎么打开日志 查看Linux系统日志及Hadoop日志

查看Linux系统日志及Hadoop日志

2024-01-07 13:18| 来源: 网络整理| 查看: 265

参考: Linux查看log文件 如何查看Hadoop运行过程中产生日志

Linux日志

/var/log:日志文件来夹的默认存储路径

/var/log/messages:包括整体系统信息,其中也包含系统启动期间的日志。此外,还包括源mail,cron,daemon,kern和auth等内容

/var/log/syslog:和/etc/log/messages日志文件不同,它只记录警告信息,常常是系统出问题的信息

/var/log/user.log:记录所有等级用户信息的日志

/var/log/auth.log:包含系统授权信息,包括用户登录和使用的权限机制等

相关查询操作: 查询日志的全部内容

cat /var/log/messages

查询日志的前5行

head -5 /var/log/messages

查询日志的最新5行

tail -5 /var/log/messages

查询日志的5到10行

sed -n '5,10p' /var/log/messages Hadoop运行日志(Hadoop 2.x版本)

(我的Hadoop安装目录为:/usr/local/hadoop。可启动hadoop后echo $HADOOP_HOME查看)

YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志,他们的日志位置如下:

/usr/local/hadoop/logs/yarn--resourcemanager-.log:ResourceManager日志存放位置

/usr/local/hadoop/logs/yarn--nodemanager-.log:各个NodeManager节点上的NodeManager日志存放位置

… … 应用程序日志包括jobhistory日志和Container日志,其中,jobhistory日志是应用程序运行日志,包括应用程序启动时间、结束时间,每个任务的启动时间、结束时间,各种counter信息等: Container日志包含ApplicationMaster日志和普通Task日志,它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下,其中ApplicationMaster日志目录名称为container_xxx_000001,普通task日志目录名称则为container_xxx_000002,container_xxx_000003,….,同Hadoop 1.x一样,每个目录下包含三个日志文件:stdout、stderr和syslog,且具体含义是一样的。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3