Hadoop日志信息：系统服务输出的日志和应用程序日志的查看 |
您所在的位置：网站首页 › hadoop怎么查看日志 › Hadoop日志信息：系统服务输出的日志和应用程序日志的查看 |
|
Hadoop出错了怎么办？找日志！ 环境： [root@hadp-master hadoop-2.7.4]# hadoop version Hadoop 2.7.4 Hadoop的日志大致可以分为两类： （1）Hadoop系统服务输出的日志； （2）Mapreduce程序输出来的日志(应用程序日志)。 这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。 一、Hadoop系统服务输出的日志 诸如Nodemanger、ResourceManage等系统自带的服务输出来的日志默认是存放在 ${HADOOP_HOME}/logs目录下。比如resourcemanager的输出日志为yarn-${USER}- resourcemanager-${hostname}.log，其中${USER}s是指启动resourcemanager进程的用户， ${hostname}是resourcemanager进程所在机器的hostname；当日志到达一定的大小（可以在 ${HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置）将会被切割出一个新的文件，切割出 来的日志文件名类似yarn-${USER}-resourcemanager-${hostname}.log.数字的，后面的数字越大， 代表日志越旧。如下： [root@hadp-node1 logs]# ll total 1528 -rw-r--r--. 1 root root 771579 Oct 17 03:43 yarn-root-resourcemanager-hadp-master.log -rw-r--r--. 1 root root 1524 Oct 17 03:33 yarn-root-resourcemanager-hadp-master.out -rw-r--r--. 1 root root 1524 Oct 17 03:29 yarn-root-resourcemanager-hadp-master.out.1 -rw-r--r--. 1 root root 1531 Oct 13 23:23 yarn-root-resourcemanager-hadp-master.out.2 -rw-r--r--. 1 root root 1531 Sep 20 00:41 yarn-root-resourcemanager-hadp-master.out.3 -rw-r--r--. 1 root root 1531 Sep 18 22:26 yarn-root-resourcemanager-hadp-master.out.4 -rw-r--r--. 1 root root 1524 Sep 18 17:40 yarn-root-resourcemanager-hadp-master.out.5 上面这些都是可以配置的，比如resourcemanager（${HADOOP_HOME}/etc/hadoop/log4j.properties）： log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager$ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger} log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager$ApplicationSummary=false log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/${yarn.server.resourcemanager.appsummary.log.file} log4j.appender.RMSUMMARY.MaxFileSize=256MB ##多大切割日志 log4j.appender.RMSUMMARY.MaxBackupIndex=20 log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n resourcemanager日志存放路径也是可以配置的（在${HADOOP_HOME}/etc/hadoop/yarn-env.sh）： # default log directory & file if [ "$YARN_LOG_DIR" = "" ]; then YARN_LOG_DIR="$HADOOP_YARN_HOME/logs" fi 只需要修改YARN_LOG_DIR的值，这时候，yarn相关的日志记录都将存放在你配置的目录下。总结： Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下： ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn--resourcemanager-.log NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn--nodemanager-.log 二、Mapreduce程序相关的日志Mapreduce程序的日志是应用程序日志，可以分为历史作业日志和Container日志。 (1) 历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息；这些信息对分析作业是很有帮助的，我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的： （ yarn-site.xml中配置 ） mapreduce.jobhistory.done-dir ${yarn.app.mapreduce.am.staging-dir}/history/done mapreduce.jobhistory.intermediate-done-dir ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate yarn.app.mapreduce.am.staging-dir /tmp/hadoop-yarn/staging总结：应用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是应用程序运行日志，包括应用程序启动时间、结束时间，每个任务的启动时间、结束时间，各种counter信息等。 Container日志包含ApplicationMaster日志和普通Task日志，它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下，其中ApplicationMaster日志目录名称为container_xxx_000001，普通task日志目录名称则为container_xxx_000002，container_xxx_000003，….，同Hadoop 1.x一样，每个目录下包含三个日志文件：stdout、stderr和syslog，且具体含义是一样的。 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |