log4j日志性能优化

标签: log4j 日志 性能优化 | 发表时间:2014-10-15 16:17 | 作者:沉沦的快乐
出处:http://www.iteye.com

       在软件系统中,打日志几乎是每个系统都会使用的行为。不管是用来记录系统健康状态,辅助问题定位,还是收集数据,以便后续数据分析等,日志都起着举足轻重的作用。但是IO的阻塞行为和磁盘的读写速度低下意味着写日志并非是没有代价的。

 

存在问题

          在很多系统中,日志模块用的都是log4j,打日志用的都是同步方法,基本配置如下:

 

<appender name="appAppender" class="org.apache.log4j.DailyRollingFileAppender"> 
        <!-- <param name="Threshold" value="INFO" /> --> 
        <param name="File" value="/data/applogs/XXXXXXXX/logs/app.log"/> 
        <layout class="org.apache.log4j.PatternLayout"> 
            <param name="ConversionPattern" 
                   value="[hotel-order-service]%d [%t] %-5p [%X{HOTEL_LOG_TRACE_ID                          }] [%c %L] %m%n"/> 
        </layout> 
</appender>

 

  按照这种配置,日志的输出行为是,在代码层每次调用输出日志接口的时候,这条日志就马上写入到磁盘中,java的io是阻塞的,而当前磁盘的读写性能低下是共知的。我随机找了公司几台服务器用iostat命令查看了每次写磁盘的时间,发现每次io最快也要1.5ms,慢的需要5.7ms!如果某个接口平均需要打5条日志,那么花在打日志上的时间平均就需要10ms。为了减少打日志的时间,最主要的是减少往磁盘写日志的次数,但是如果不能从代码层减少写日志的次数,那么考虑从系统上减少往磁盘写日志的次数。

 

 

优化方法&测试 

     log4j的DailyRollingFileAppender的实现了缓存模式,即合并日志输出的模式,它先把所有的日志都放到一个buffer数组里,如果buffer满了,就把buffer里内容全部写入磁盘,这样可以大大减少调用磁盘的次数。buffer的大小默认是8K(不同的版本默认值可能不一样)。举个例子, 比如你每次要输出1K的日志,那么你输出8次,才会调用1次磁盘io。为了开启合并日志的方式,需要在配置把bufferedIO设置为true,同时也可以根据系统实际情况设置bufferSize来改变buffer数组的大小。 

      为了验证缓存模式的性能,在某系统中,尝试开启了缓存模式,同时把buffersize设置为50K。下面的配置是开启log4j的缓存:

<appender name="appAppender" class="org.apache.log4j.DailyRollingFileAppender"> 
        <param name="bufferedIO" value="true" />    
         <!-- 50k为一个写单元 ,可以自己定义--> 
        <param name="bufferSize" value="51200" />
        <param name="File" value="/data/applogs/XXXXXXXX/logs/app.log"/> 
        <layout class="org.apache.log4j.PatternLayout"> 
            <param name="ConversionPattern" 
                   value="[hotel-order-service]%d [%t] %-5p [%X{HOTEL_LOG_TRACE_ID}] [%c %L] %m%n"/> 
        </layout> 
</appender>

 

 

          下面是开启缓存模式前后的响应时间测试: 

       首先,需要保证服务器环境的一致性,因为不同的服务以及服务器再不同的qps压力下,响应时间也会不同。因此整个的测试数据收集时间再2个小时以内,从公司内部监控系统来看,测试前后的qps基本一致,保证了测试数据的可靠性。然后对比系统响应时间。系统主要的几个接口响应时间基本降低了10-20ms,同时系统的整体平均响应时间降低了4%。说明了开启缓存模式确实有助于减少系统的响应时间,提升系统的性能。

 

优化日志完整性

       那么问题来了:既然开启缓存模式能提高系统,那么log4j为什么没有默认开启缓存模式呢?个人猜测是因为缓存模式需要缓存填充满了才会写入磁盘,但是假如系统突然崩溃了,缓存中残留的数据没有写入磁盘,从而导致日志丢失。而系统崩溃时的日志往往是排查和定位问题的关键,所以大部分情况下日志的完整性更为重要。但是享受缓慢模式的高性能与日志的完整性真的是鱼与熊掌不可兼得吗?log4j的DailyRollingFileAppender确实不可兼得,但是可以自己扩展DailyRollingFileAppender类。使用jvm钩子,在jvm退出前,先把缓存里的日志写到磁盘上。下面是自己扩展的ExtendDailyRollingFileAppender。 

 

public class ExtendDailyRollingFileAppender extends DailyRollingFileAppender{ 
public ExtendDailyRollingFileAppender() {   
        super();   
        Runtime.getRuntime().addShutdownHook(new Log4jHockThread());   
    } 
public ExtendDailyRollingFileAppender(Layout layout, String filename,   
            String datePattern) throws IOException {   
        super(layout, filename, datePattern);   
        Runtime.getRuntime().addShutdownHook(new Log4jHockThread());   
    } 
public QuietWriter getQw() {   
        return super.qw;   
    }  
private class Log4jHockThread extends Thread {   
       @Override   
       public void run() {   
           QuietWriter qw = ExtendDailyRollingFileAppender.this.getQw();   
           if (qw != null) {   
               qw.flush();   
           }   
       }   
   } 
} 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [log4j 日志 性能优化] 推荐:

log4j日志性能优化

- - 编程语言 - ITeye博客
       在软件系统中,打日志几乎是每个系统都会使用的行为. 不管是用来记录系统健康状态,辅助问题定位,还是收集数据,以便后续数据分析等,日志都起着举足轻重的作用. 但是IO的阻塞行为和磁盘的读写速度低下意味着写日志并非是没有代价的.           在很多系统中,日志模块用的都是log4j,打日志用的都是同步方法,基本配置如下:.

LOG4J日志性能建议

- - 企业架构 - ITeye博客
原文地址: http://fredpuls.com/site/softwaredevelopment/java/log4j/log4j_performance_tips.htm. 使用日志可能会让你的应用性能下降20% —— 很难相信吧,但是却是真的可能. 本文讨论一些尽可能提升日志性能的方法,.

log4j自动日志删除(转)

- - 开源软件 - ITeye博客
最近要实现定期删除N天前的日志. 以前都是利用运维的一个cron脚本来定期删除的, 总觉得可移植性不是很好, 比如要指定具体的日志文件路径, 有时候想想为什么log4j自己不实现这个功能呢. 后来发现在logback中已经实现了这个功能. 但是我的应用因为依赖的log相关的jar包的问题, 没法使用logback的jar包, 因为必须使用新的方式来处理.

Log4j实现对Java日志的配置全攻略

- - CSDN博客互联网推荐文章
配置文件 Log4J配置文件的基本格式如下:. 举例:Testlog4.main(TestLog4.java: 10 ) 2. 在代码中初始化Logger: 1)在程序中调用BasicConfigurator.configure()方法:给根记录器增加一个ConsoleAppender,输出格式通过PatternLayout设为"%-4r [%t] %-5p %c %x - %m%n",还有根记录器的默认级别是Level.DEBUG.

log4j输出多个自定义日志文件

- - 非技术 - ITeye博客
logger是category的子类,category现在已经不提倡使用. 但是现在部分jar依然使用的category,所以需要使用log4j.category.org.mybatis控制,例如:org.mybatis,org.apache等. -----------下面为转载----------------------.

访问日志IO性能优化

- - CSDN博客推荐文章
在高并发量的场景下磁盘IO往往是性能的瓶颈所在,访问日志涉及到频繁的写操作,所以这部分要尽可能地优化,不然将拖累系统的整体性能. 针对文件记录及数据库记录两种方式可以有以下措施提高写性能,. 将日志写入文件的一般操作步骤是打开-写入-关闭,但假如在需要频繁写入日志的场景下,这种方式在性能上肯定会存在问题,因为每次打开关闭都是需要成本开销的,所以必须要想想是否有别的更好的方式,竟然问题出现在打开关闭的次数,那么解决问题思路就从这里下手,可以在第一次打开写入日志后不进行关闭操作,保持打开的状态,下一次写入则无需再次打开可直接写入.

log4j的MDC

- - 行业应用 - ITeye博客
原文地址: http://blog.csdn.net/huxin1/article/details/5736227. NDC(Nested Diagnostic Context)和MDC(Mapped Diagnostic Context)是log4j种非常有用的两个类,它们用于存储应用程序的上下文信息(context infomation),从而便于在log中使用这些上下文信息.

使用Log4J为项目配置日志输出应用详细总结及示例演示.

- - 博客园_首页
Log4j由三个重要的组件构成:. 1.日志信息的优先级(Logger). 2.日志信息的输出目的地(Appender). 3.日志信息的输出格式(Layout). 日志信息的优先级从高到低有ERROR、WARN、 INFO、DEBUG,分别用来指定这条日志信息的重要程度;. 日志信息的输出目的地指定了日志将打印到控制台还是文件中;.

Apache Log4j 2.0介绍

- - CSDN博客推荐文章
Apache Log4j 2.0介绍. 作者:chszs,转载需注明. 作者博客主页:http://blog.csdn.net/chszs. Apache Log4j是著名的Java日志框架之一,在早些年应用最广. 但近两年来,随着SLF4J和LogBack的兴起,很多流行的开源框架在日志模块方面逐步转移到SLF4J+LogBack上,Log4j日渐衰落.

log4j实用配置

- - CSDN博客架构设计推荐文章
第一步:加入log4j-1.2.8.jar到lib下. 第二步:在CLASSPATH下建立log4j.properties. 此句为将等级为INFO的日志信息输出到stdout和R这两个目的地,stdout和R的定义在下面的代码,可以任意起名. 等级可分为OFF、 FATAL、ERROR、WARN、INFO、DEBUG、ALL,如果配置OFF则不打出任何信息,如果配置为INFO这样只显示INFO, WARN, ERROR的log信息,而DEBUG信息不会被显示,具体讲解可参照第三部分定义配置文件中的logger.