Flink日志配置 |
您所在的位置：网站首页 › flink提交任务参数 › Flink日志配置 |
|
介绍flink在本地运行和on yarn运行时的日志配置。 很多现代框架都是用门面模式进行日志输出，例如使用Slf4j中的接口输出日志，具体实现类需要由log4j，log4j2，logback等日志框架进行实现。 Flink 中的日志记录就是使用slf4j日志接口实现的。 Slf4j简要说明slf4j全名Simple Logging Facade for Java，为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好，在工程中通过slf4j接入不同的日志系统。slf4j入口就是众多接口的集合，它不负责具体的日志实现，只在编译时负责寻找合适的日志系统进行绑定。具体有哪些接口，全部都定义在slf4j-api中。查看slf4j-api源码就可以发现，里面除了public final class LoggerFactory类之外，都是接口定义。因此slf4j-api本质就是一个接口定义。要想使用slf4j日志门面，需要引入以下依赖： org.slf4j slf4j-api 1.7.25这个包只有日志的接口，并没有实现，所以如果要使用就得再给它提供一个实现了些接口的日志框架包，比如：log4j，log4j2，logback等日志框架包，但是这些日志实现又不能通过接口直接调用，实现上他们根本就和slf4j-api不一致，因此slf4j和日志框架之间又增加了一层桥接器来转换各日志实现包的使用，比如slf4j-log4j12，log4j-slf4j-impl等。 接下来从本地运行和on yarn部署来说明下日志的使用配置方式。 Flink本地idea运行的日志配置在我们编写Flink代码的时候，官方推荐的最佳实践也是使用Slf4j。Slf4j 的 logger 通过调用 LoggerFactory 的getLogger()方法创建，然后使用logger对象输出日志。 接下来，我们就使用slf4j来打印日志。 使用slf4j 依赖 org.slf4j slf4j-api 1.7.25 实现代码 package com.upupfeng; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * @author mawf */ public class Main { // 创建Logger对象 private static final Logger log = LoggerFactory.getLogger(Main.class); public static void main(String[] args) throws Exception { // 打印日志 log.info("-----------------> start"); } }光有上述的代码，运行起来是打印不出来日志的。还需要我们导入对应的日志实现的依赖（log4j或log4j2），以及进行相关的配置。 接下里再分别说一下log4j和log4j2的依赖和配置。 log4j1 pom依赖 org.slf4j slf4j-api 1.7.25 org.slf4j slf4j-log4j12 1.7.21 test log4j log4j 1.2.17 log4j.properties配置 log4j.rootLogger=info,console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.Threshold=INFO log4j.appender.console.ImmediateFlush=true log4j.appender.console.Target=System.out log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n添加完pom和配置后，就可以使用log4j输出日志了。 log4j2 pom依赖 org.slf4j slf4j-api 1.7.25 org.apache.logging.log4j log4j-slf4j-impl 2.9.1 org.apache.logging.log4j log4j-api 2.9.1 org.apache.logging.log4j log4j-core 2.9.1 log4j2.xml添加完pom和配置后，就可以使用log4j2输出日志了。 在实际使用中，还是推荐使用log4j2。其他的不说，占位符就比log4j的自己拼字符串好很多了。 Flink on Yarn的日志配置 说明Flink有多种部署运行方式，我这里采用的是on yarn的运行方式，以per-job的形式提交任务到yarn。 # 以这种方式提交 flink run \ -d \ -m yarn-cluster \我使用的flink版本是1.11.3。 官方的二进制运行包中就自带了slf4j和log4j2的jar包： flink-dist_2.11-1.11.3.jar log4j-1.2-api-2.12.1.jar log4j-api-2.12.1.jar log4j-core-2.12.1.jar log4j-slf4j-impl-2.12.1.jarflink-dist包中包含了slf4j的包，带log4j的是log4j2的包。 如果我们要使用log4j2的话，就必须保证我们自己打的jar包中没有log的相关依赖，不然会出现各种奇怪的问题。这点很重要，我最开始没有排除，遇到了很多问题。 maven打包时排除log依赖我这里是使用shade插件打包，然后排除依赖的。 shade插件的配置如下： org.apache.maven.plugins maven-shade-plugin 3.1.0 org.slf4j:* log4j:* ch.qos.logback:* package shade *:* META-INF/*.SF META-INF/*.DSA META-INF/*.RSA 日志的配置Flink附带了默认的日志配置文件： log4j-cli.properties：由 Flink 命令行客户端使用（例如 flink run）（不包括在集群上执行的代码）。这个文件是我们使用flink run提交任务时，任务提交到集群前打印的日志所需的配置。log4j-session.properties：Flink 命令行客户端在启动 YARN 或 Kubernetes session 时使用（yarn-session.sh，kubernetes-session.sh）。log4j.properties：作为 JobManager/TaskManager 日志配置使用（standalone 和 YARN 两种模式下皆使用）所以使用flink run这种方式提交任务，会自动去FLINK_HOME下的conf目录下找log4j.properties的文件作为jobmanager和taskmanager的日志配置。 官方说使用 -Dlog4j.configurationFile= 参数可以传递日志文件，但是我试了几次都不可以。 所以如果要对日志级别、模板进行修改的话，就直接改这个log4j.properties文件就好了。 滚动日志的配置默认的日志配置文件不是滚动的，所以日志文件很大的话，会暂用较多的资源，我们需要修改为滚动日志。 滚动日志的配置内容 rootLogger.level = INFO rootLogger.appenderRef.rolling.ref = RollingFileAppender logger.akka.name = akka logger.akka.level = INFO logger.kafka.name= org.apache.kafka logger.kafka.level = INFO logger.hadoop.name = org.apache.hadoop logger.hadoop.level = INFO logger.zookeeper.name = org.apache.zookeeper logger.zookeeper.level = INFO logger.upupfeng.name = com.upupfeng logger.upupfeng.level = INFO logger.upupfeng.additivity = false logger.upupfeng.appenderRef.rolling.ref = RollingFileAppender appender.rolling.name = RollingFileAppender appender.rolling.type = RollingFile appender.rolling.fileName = ${sys:log.file} appender.rolling.filePattern = ${sys:log.file}.%i appender.rolling.layout.type = PatternLayout appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n appender.rolling.policies.type = Policies appender.rolling.policies.size.type = SizeBasedTriggeringPolicy appender.rolling.policies.size.size=100MB appender.rolling.strategy.type = DefaultRolloverStrategy appender.rolling.strategy.max = 10 logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline logger.netty.level = OFF 效果提交任务后，就会生成如下的滚动日志了。 -rw-r--r-- 1 yarn yarn 30112705 Mar 6 09:49 taskmanager.log -rw-r--r-- 1 yarn yarn 104857827 Mar 6 09:48 taskmanager.log.1 -rw-r--r-- 1 yarn yarn 104857687 Mar 6 09:49 taskmanager.log.10 -rw-r--r-- 1 yarn yarn 104857649 Mar 6 09:48 taskmanager.log.2 -rw-r--r-- 1 yarn yarn 104857692 Mar 6 09:48 taskmanager.log.3 -rw-r--r-- 1 yarn yarn 104857693 Mar 6 09:48 taskmanager.log.4 -rw-r--r-- 1 yarn yarn 104857831 Mar 6 09:49 taskmanager.log.5 -rw-r--r-- 1 yarn yarn 104857707 Mar 6 09:49 taskmanager.log.6 -rw-r--r-- 1 yarn yarn 104857649 Mar 6 09:49 taskmanager.log.7 -rw-r--r-- 1 yarn yarn 104857659 Mar 6 09:49 taskmanager.log.8 -rw-r--r-- 1 yarn yarn 104857646 Mar 6 09:49 taskmanager.log.9 参考Flink原理：Flink中的日志框架配置 https://www.codenong.com/cs106739594/ Flink官网：如何使用日志记录 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/advanced/logging.html slf4j-api和slf4j-simple https://blog.csdn.net/u011179993/article/details/52490013 slf4j-api、slf4j-log4j12、log4j之间关系 https://www.cnblogs.com/lujiango/p/8573411.html |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |