你还在用 Logback?Log4j2 的异步性能已经无敌了,还不快试试

标签: java log4j logback log4j2 | 发表时间:2021-04-01 08:50 | 作者:空无
出处:https://segmentfault.com/blogs

Logback 算是 JAVA 里一个老牌的日志框架,从 06 年开始第一个版本,迭代至今也十几年了。不过 logback 最近一个稳定版本还停留在 2017 年,好几年都没有更新;logback 的兄弟 slf4j 最近一个稳定版也是 2017 年,有点凉凉的意思。

而且 logback 的异步性能实在拉跨,功能简陋,配置又繁琐,远不及 Apache 的新一代日志框架 - Log4j2

目前来看,Log4j2 就是王者,其他日志框架都不是对手

Log4j2 简介

Apache Log4j 2 是 Log4j(1) 的升级版,比它的祖先 Log4j 1. x 有了很大的改进,和 logback 对比有很大的改进。除了内部设计的调整外,主要有以下几点的大升级:

  • 更简化的配置
  • 更强大的参数格式化
  • 最夸张的异步性能

Log4j 2 中,分为 API(log4j-api)实现 (log4j-core) 两个模块。API 和 slf4j 是一个类型,属于日志抽象 / 门面,而实现部分,才是 Log4j 2 的核心。

  • org.apache.logging.log4j » log4j-api
  • org.apache.logging.log4j » log4j-core

最牛逼的性能

最强的异步性能

这个特性,算是 Log4j2 最强之处了。log4j2 在目前 JAVA 中的日志框架里,异步日志的性能是最高的,没有之一。

先来看一下,几种日志框架 benchmark 对比结果(log4j2 官方测试结果): 从图上可以看出,log4j2 的异步(全异步,非混合模式)下的性能,远超 log4j1 和 logback,简直吊打。压力越大的情况下,吞吐上的差距就越大。 在 64 线程测试下,log4j2 的吞吐达到了 180w+/s,而 logback/log4j1 只有不到 20w,相差近十倍

零 GC(Garbage-free)

从 2.6 版本开始(2016 年),log4j2 默认就以零 GC 模式运行了。什么叫零 GC 呢?就是不会由于 log4j2 而导致 GC。

log4j2 中 各种 Message 对象,字符串数组,字节数组等全部复用,不重复创建,大大减少了无用对象的创建,从而做到 “零 GC”。

更高性能 I/O 写入的支持

log4j 还提供了一个 MemoryMappedFileAppender,I/O 部分使用 MemoryMappedFile 来实现,可以得到极高的 I/O 性能。 不过在使用 MemoryMappedFileAppender 之前,得确定你足够了解 MemoryMappedFile 的相关知识,否则不要轻易使用呦。

更强大的参数格式化

API 模块和 slf4j 相比,提供了更丰富的参数格式化功能。

使用 {}占位符格式化参数

在 slf4j 里,我们可以用 {}的方式来实现 “format” 的功能(参数会直接 toString 替换占位符),像下面这样:

  logger.debug("Logging in user {} with birthday {}", user.getName(), user.getBirthdayCalendar());

使用 String.format 的形式格式化参数

log4j2 中除了支持 {}的参数占位符,还支持 String.format 的形式:

  public static Logger logger = LogManager.getFormatterLogger("Foo");
 
logger.debug("Logging in user %s with birthday %s", user.getName(), user.getBirthdayCalendar());
logger.debug("Logging in user %1$s with birthday %2$tm %2$te,%2$tY", user.getName(), user.getBirthdayCalendar());
logger.debug("Integer.MAX_VALUE = %,d", Integer.MAX_VALUE);
logger.debug("Long.MAX_VALUE = %,d", Long.MAX_VALUE);

注意,如果想使用 String.format 的形式,需要使用 LogManager.getFormatterLogger而不是 LogManager.getLogger

使用 logger.printf 格式化参数

log4j2 的 Logger 接口中,还有一个 printf方法,无需创建 LogManager.getFormatterLogger,就可以使用 String.format的形式

  logger.printf(Level.INFO, "Logging in user %1$s with birthday %2$tm %2$te,%2$tY", user.getName(), user.getBirthdayCalendar());

logger.debug("Opening connection to {}...", someDataSource);

“惰性” 打日志(lazy logging)

这个功能虽然小,但非常实用。

在某些业务流程里,为了留根或追溯问题,需要完整的打印入参,一般是把入参给用 JSON/XML 序列化后用 debug 级别打印:

  logger.debug("入参报文:{}",JSON.toJSONString(policyDTO));

如果需要追溯问题时,会将系统的日志级别调到 debug/trace,这样就可以打印。但是这里有个问题, 虽然在 info 级别下 debug 不会输出内容,但 JSON.toJSONString() 这个序列化的代码一定会执行,严重影响正常流程下的执行效率。

我们期望的结果是 info 级别下,连序列化都不执行。这里可以通过 isDebugEnable来判断当前配置下 debug 级别是否可以输出:

  if(logger.isDebugEnabled()){
    logger.debug("入参报文:{}",JSON.toJSONString(policyDTO));
}

这样虽然可以避免不必要的序列化,但每个地方都这么写还是有点难受的,一行变成了三行。

log4j2 的 logger 对象,提供了一系列 lambda 的支持,通过这些接口可以实现 “惰性” 打日志:

  void debug(String message, Supplier<?>... paramSuppliers);
void info(String message, Supplier<?>... paramSuppliers);
void trace(String message, Supplier<?>... paramSuppliers);
void error(String message, Supplier<?>... paramSuppliers);


logger.debug("入参报文:{}",() -> JSON.toJSONString(policyDTO));

if(logger.isDebugEnabled()){
    logger.debug("入参报文:{}",JSON.toJSONString(policyDTO));
}

这种 Supplier + Lambda 的形式,等同于上面的先判断 isDebugEnable 然后打印,三行的代码变成了一行。嗯,真香。

更简化的配置

Log4j 2 同时支持 XML/JSON/YML/Properties 四种形式的配置文件,不过最主流的还是 XML 的方式,最直观。

来看一下 logback 和 log4j2 的配置文件对比,同样功能的配置下:

logback.xml

  <?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <appender name = "File" class= "ch.qos.logback.core.rolling.RollingFileAppender">
        <file>logs/app.log</file>
        <rollingPolicy>
            <fileNamePattern>logs/archives/app-%d{yyyy-MM-dd}.log.gz</fileNamePattern>
                        
              <maxFileSize>1 GB</maxFileSize>
        </rollingPolicy>
    </appender>
    <root level="info">
      <appender-ref ref="File"/>
    </root>
</configuration>

log4j2.xml

  <?xml version="1.0" encoding="UTF-8"?>
<Configuration xmlns:xi="http://www.w3.org/2001/XInclude"
               status="warn" >
    <Appenders>
          <RollingFile logs/archives/app-%d{yyyy-MM-dd}-%i.log.gz">
              <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] [%e] [%X{rid}] %level %c - %msg%n"/>
              <Policies>
                  <TimeBasedTriggeringPolicy />
                  
                  <SizeBasedTriggeringPolicy size="1 GB"/>
              </Policies>
          </RollingFile>
    </Appenders>
    <Loggers>
        <Root level="INFO">
            <AppenderRef ref="File"/>
        </Root>
    </Loggers>
</Configuration>

在 log4j2 中,appender 的配置从使用 Appender 实现名即标签名的形式,语法上更简洁一些:

  <RollingFile >
  
<appender name = "File" class= "ch.qos.logback.core.rolling.RollingFileAppender">
复制代码

与其他日志抽象 / 门面适配

log4j2 由于拆分为 API 和 实现两部分,所以可能也需要和其他日志框架进行适配,详细的日志框架适配方案请参考我的另一篇文章《 【可能是全网最全的】JAVA 日志框架适配 / 冲突解决方案

其他的特点

  1. 异步队列使用高性能队列 - LMAX Disruptor 
  2. Appender 丰富,有 JMS/JPA/KAFKA/Http/MONGODB/CouchDB/Socket/Script 等各种 Appender 的支持
  3. 支持自定义日志级别
  4. ……

基本用法

终于介绍完了 Log4j2 的强大,现在来介绍下 Log4j2 的基本使用。

引用 log4j2 的 maven 依赖

log4j-api 在 log4j-core 中已经有依赖了,直接依赖 core 即可

  <dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.14.1</version>
</dependency>

注意,引用 log4j2 时,需要注意项目中是否有多套日志框架共存 / 冲突,需要适配的问题。细节请参考上面的 与其他日志抽象 / 门面适配

配置文件示例

首先是配置文件,默认的配置文件路径为: classpath:log4j2.xml(推荐使用 xml)

  <?xml version="1.0" encoding="UTF-8"?>
<Configuration xmlns:xi="http://www.w3.org/2001/XInclude"
               status="warn" name="XInclude">
    <Properties>
      <Property name="PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%t] %-40.40c{1.} : %m%n"/>
    </Properties>
    <Appenders>
              <!-- 输出到控制台,仅在本地开发环境使用 -->
          <Console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="${PATTERN}"/>
          </Console>
              <!--输出到日志文件,滚动分割日志文件,自动打包gz-->
          <RollingFile name="File" fileName="logs/app.log" filePattern="logs/archives/app-%d{yyyy-MM-dd}-%i.log.gz">
              <PatternLayout pattern="${PATTERN}"/>
              <Policies>
                    <!--默认一天一个文件-->
                  <TimeBasedTriggeringPolicy />
                  <!--一天内大于size就单独分隔-->
                  <SizeBasedTriggeringPolicy size="1 GB"/>
              </Policies>
          </RollingFile>
    </Appenders>
    <Loggers>
          <!-- 添加你的自定义logger,一般用于区分包名的日志,不同包名不同的级别/appender -->
          <!-- additivity 意思是,调用完当前appender,是否继续调用parent logger appender,默认true-->
          <Logger name="your logger/package name" level="debug" additivity="false"/>
          <!--默认的Root Logger 级别-->
        <Root level="INFO">
              <!--这里需要区分下环境(配合maven profile之类的)-->
              <!-- 开发环境使用Console Appender,生产环境使用File Appender -->
            <AppenderRef ref="Console"/>
              <AppenderRef ref="File"/>
        </Root>
    </Loggers>
</Configuration>

XML 配置文件语法

  <?xml version="1.0" encoding="UTF-8"?>;
<Configuration>
  <Properties>
    <Property >value</property>
    <Property />
  </Properties>
  <filter  ... />
  <Appenders>
    <appender ... >
      <filter  ... />
    </appender>
    ...
  </Appenders>
  <Loggers>
    <Logger >
      <filter  ... />
    </Logger>
    ...
    <Root level="level">
      <AppenderRef ref="name"/>
    </Root>
  </Loggers>
</Configuration>

创建 Logger

直接使用 log4j2 的 api:

  import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

Logger logger = LogManager.getLogger(Log4j2Test.class);
logger.error(...);
logger.warn(...);
logger.info(...);
logger.debug(...);
logger.trace(...);

如果是配合 slf4j 使用也是可以的,只需要按照前面说的,提前做好适配,然后使用 slf4j 的 api 即可。不过如果是新系统的话,建议直接上 log4j2 的 api 吧,可以享受所有 log4j2 的功能,使用 slf4j 之类的 api 时,上面说的参数格式化之类的功能就无法使用了。

全异步配置(重要!!)

推荐配置 log4j2 全异步(all async),在你的启动脚本中增加一个系统变量的配置:

  -Dlog4j2.contextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector

总结

Log4j2 如今性能最强,功能最强,而且持续更新维护。还在等什么?是时候替换你的 logback/log4j1 了!

原创不易,转载请在开头著名文章来源和作者。如果我的文章对您有帮助,请点赞 / 收藏 / 关注鼓励支持一下吧❤❤❤❤❤❤

相关 [logback log4j2 异步] 推荐:

你还在用 Logback?Log4j2 的异步性能已经无敌了,还不快试试

- - SegmentFault 最新的文章
Logback 算是 JAVA 里一个老牌的日志框架,从 06 年开始第一个版本,迭代至今也十几年了. 不过 logback 最近一个稳定版本还停留在 2017 年,好几年都没有更新;logback 的兄弟 slf4j 最近一个稳定版也是 2017 年,有点凉凉的意思. 而且 logback 的异步性能实在拉跨,功能简陋,配置又繁琐,远不及 Apache 的新一代日志框架 -.

logback VS log4j2 那些你注意不到的性能差距...

- - 掘金 后端
logback, log4j2 等都是非常优秀的日志框架, 在日常使用中,我们很少会关注去使用哪一个框架, 但其实这些日志框架在性能方面存在明显的差异. 尤其在生产环境中, 有时候日志的性能高低,很可能影响到机器的成本, 像一些大企业,如阿里、腾讯、字节等,一点点的性能优化,就能节省数百万的支出. 再次, 统一日志框架也是大厂常有的规范化的事情, 还可以便于后续的ETL流程, 因此,我们选一个日志框架,其实还是比较重要的.

从Log4j迁移到LogBack的理由

- - 博客 - 伯乐在线
英文原文: Reasons to prefer logback over log4j,编译: oschina. 无论从设计上还是实现上,Logback相对log4j而言有了相对多的改进. 不过尽管难以一一细数,这里还是列举部分理由为什么选择logback而不是log4j. 牢记logback与log4j在概念上面是很相似的,它们都是有同一群开发者建立.

Logback日志文件的配置

- - BlogJava-首页技术区
日志每天归档,同时目录名包含相应的年份和月份. 注意其中aux的使用,在fileNamePatter中如果出现多个%d的情况下,只能有一个为主配置,其他都需要使用aux标记为附属配置. 其中的%i请参看下节的介绍. 文件同时根据日期和大小滚动创建. fileNamePattern在上一节已经介绍,这里主要介绍timeBasedFileNamingAndTriggeringPolicy,此处配置对文件大小的限定,由fileNamePattern的%i在确定下标在文件名中的位置.

使用Log4jdbc-log4j2监听MyBatis中运行的SQL和Connection

- - CSDN博客数据库推荐文章
引言: 在项目中使用了MyBatis,一个比较苦恼的问题是无法看到执行的SQL的具体情况,所以,就找到了Log4jdbc-log4j2. 这个是一个基于jdbc层面的监听工具,可以监听对于数据库的主要操作,从而完美的查看到其中执行的操作. Log4jdbc-log4j2版本选择.      如果项目是基于Maven工具,则可以直接使用如下依赖,即可完美解决问题:.

log4j与logback自定义文件存放目录方法

- - 研发管理 - ITeye博客
       为了方便日志的管理,我们在集群之间通过网络挂载的方式创建了一个共享目录即在所有的服务器上均可以访问此磁盘目录. 因此我们在写日志时需要根据集群的环境动态的设定日志的存储路径.        我们的工程日志的记录采用了两种方式log4j和sl4f+logback. 一、log4j自定义路径.

Spring-Boot 默认日志logback配置_Java_t0m的专栏-CSDN博客

- -
Spring-Boot官方开发指导文档. SpringBoot默认采用了logback日志系统,也支持Log4j2、JDK (Java Util Logging)、SLF4J、Commons Logging等. 下面说一下logback日志系统在SpringBoot中的配置. 如果日志需求简单,可以直接在application.properties中配置logback日志属性,否则可以自定义logback日志文件位置,然后根据自己需要配置logback内容.

Log4j2史诗级漏洞来袭,影响Spring Boot应用,请自查!

- - 程序猿DD
Apache Log4j 2是一款优秀的Java日志框架. 该工具重写了Log4j框架,并且引入了大量丰富的特性. 该日志框架被大量用于业务系统开发,用来记录日志信息. 由于Apache Log4j 2某些功能存在递归解析功能,攻击者可直接构造恶意请求,触发远程代码执行漏洞. 漏洞利用无需特殊配置,攻击者可直接构造恶意请求,触发远程代码执行漏洞.

Apache Log4j2 远程代码执行漏洞处置手册 – 绿盟科技技术博客

- -
12月9日,绿盟科技CERT监测到网上披露Apache Log4j2 远程代码执行漏洞,由于Apache Log4j2某些功能存在递归解析功能,未经身份验证的攻击者通过发送特别构造的数据请求包,可在目标服务器上执行任意代码. 漏洞PoC已在网上公开,默认配置即可进行利用,该漏洞影响范围极广,建议相关用户尽快采取措施进行排查与防护.

linux异步IO浅析

- Sepher - kouu&#39;s home
知道异步IO已经很久了,但是直到最近,才真正用它来解决一下实际问题(在一个CPU密集型的应用中,有一些需要处理的数据可能放在磁盘上. 预先知道这些数据的位置,所以预先发起异步IO读请求. 等到真正需要用到这些数据的时候,再等待异步IO完成. 使用了异步IO,在发起IO请求到实际使用数据这段时间内,程序还可以继续做其他事情).