hadoop 查看日志

2023-03-30 10:11| 来源: 网络整理| 查看: 265

告警和日志信息监控 hadoop集群启动 su - hadoop #切换到hadoop用户 [hadoop@master ~]$ start-all.sh #启动 zookeeper集群启动 zkServer.sh start #三个节点都要做 zkServer.sh status #查看集群状态 Hbase启动 [hadoop@master ~]$ start-hbase.sh 1.查看大数据平台主机日志 [hadoop@master ~]$ cd /var/log [hadoop@master log]$ ll 2.查看内核及公共消息日志（/var/log/messages）。内核及公共信息日志是许多进程日志文件的汇总，可以切换到 root 用户，采用 cat 或 tail 命令查看该文件。 [hadoop@master log]$ su root password： [root@master log]# tail messages 3.查看计划任务日志/var/log/cron。 [root@master log]# cat cron 4.查看系统引导日志/var/log/dmesg [root@master log]# dmesg 5.查看邮件系统日志:/var/log/maillog tail -f /var/log/maillog 6.查看用户登录日志

lastlog

这种日志数据用于记录 Linux 操作系统用户登录及退出系统的相关信息，包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。以下文件保存了用户登录、退出系统等相关信息 1）/var/log/lastlog ：最近的用户登录事件 2）/var/log/wtmp ：用户登录注销及系统开、关机事件 3）/var/run/utmp ：当前登录的每个用户的详细信息 4）/var/log/secure ：与用户验证相关的安全性事件 lastlog 引用的是/var/log/lastlog 文件中的信息，包括登录名、端口、最后登录时间等。 [hadoop@master log]$ lastlog Username Port From Latest root pts/0 192.168.3.1 Fri May 27 15:06:44 +0800 2022 bin **Never logged in** daemon **Never logged in** adm **Never logged in** lp **Never logged in** sync **Never logged in** tty为控制台 pts为终端

last

last 列出当前和曾经登入系统的用户信息它默认读取的是/var/log/wtmp 文件的信息。输出的内容包括：用户名、终端位置、登录源信息、开始时间、结束时间、持续时间。注意最后一行输出的是 wtmp 文件起始记录的时间。当然也可以通过 last -f 参数指定读取文件，可以是/var/log/btmp、/var/run/utmp 文件 [hadoop@master log]$ last root pts/0 192.168.3.1 Fri May 27 15:06 still logged in root tty1 Fri May 27 14:57 still logged in reboot system boot 3.10.0-957.el7.x Fri May 27 14:56 - 16:13 (01:16) root pts/0 192.168.3.1 Fri May 20 14:55 - crash (7+00:01) root tty1 Fri May 20 14:54 - crash (7+00:02) reboot system boot 3.10.0-957.el7.x Fri May 20 14:53 - 16:13 (7+01:20) root pts/1 192.168.3.1 Fri May 6 17:12 - crash (13+21:41) root pts/0 192.168.3.1 Fri May 6 16:47 - crash (13+22:05) reboot system boot 3.10.0-957.el7.x Fri May 6 16:47 - 16:13 (20+23:26) 7.切换到 root 用户，使用命令 last -f /var/run/utmp，查看 utmp 文件 last -f /var/run/utmp 8.lastb 列出失败尝试的登录信息 [root@master ~]# lastb root ssh:notty master Fri May 27 15:46 - 15:46 (00:00) hadoop pts/0 Fri May 20 15:16 - 15:16 (00:00) btmp begins Fri May 20 15:16:55 2022 9.切换为 root 用户，执行 cat /var/log/secure 命令查看服务器登陆行为 [root@master ~]# cat /var/log/secure May 27 15:46:16 master sshd[6899]: Failed password for root from 192.168.3.138 port 37584 ssh2 May 27 15:46:16 master sshd[6899]: Failed password for root from 192.168.3.138 port 37584 ssh2 May 27 15:46:16 master sshd[6899]: Connection closed by 192.168.3.138 port 37584 [preauth] 10.在 Hadoop MapReduce Jobs 中查看日志信息 [hadoop@master ~]$ cd /usr/local/src/hadoop/sbin [hadoop@master sbin]$ ./mr-jobhistory-daemon.sh start historyserver 19888 看任务历史 8088看任务运行情况 [hadoop@master hadoop]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/data.txt /output

查看word count 运行状态

cd /usr/local/src/hadoop/etc/hadoop

启动日志聚合

[hadoop@master ~]$ cd /usr/local/src/hadoop/etc/hadoop [hadoop@master hadoop]$ vi yarn-site.xml yarn.log-aggregation-enable true 11.通过命令查看 Hadoop 日志 [hadoop@master ~]$cd /usr/local/src/hadoop/logs [hadoop@master logs]$ ll 12.查看hbase 13.查看hive cat /tmp/hadoophive.log 14.查看大数据平台主机告警信息 su - root journalctl -p err..alert 15.查询ResourceManager 日记最新 1000 行且包含“info”关键字的告警信息 su - root tail -1000f yarn-hadoop-resourcemanager-master.log | grep info 16.查看 HBase 告警信息

http://master:60010/logLevel

执行命令

cd /usr/local/src/hbase/logs tail -100f hbase-hadoop-master-master.log |grep INFO 17.查看 Hive 告警信息 cd /tmp/hadoop tail -1000f hive.log |grep INFO

原文地址：https://www.cnblogs.com/supermao12/p/16318533.html

【本文地址】

hadoop 查看日志

hadoop 查看日志

今日新闻

推荐新闻