访问日志IO性能优化

标签: 访问 日志 io | 发表时间:2015-06-21 22:56 | 作者:wangyangzhizhou
出处:http://blog.csdn.net

在高并发量的场景下磁盘IO往往是性能的瓶颈所在,访问日志涉及到频繁的写操作,所以这部分要尽可能地优化,不然将拖累系统的整体性能。针对文件记录及数据库记录两种方式可以有以下措施提高写性能,

l 避免频繁的打开关闭文件。将日志写入文件的一般操作步骤是打开-写入-关闭,但假如在需要频繁写入日志的场景下,这种方式在性能上肯定会存在问题,因为每次打开关闭都是需要成本开销的,所以必须要想想是否有别的更好的方式,竟然问题出现在打开关闭的次数,那么解决问题思路就从这里下手,可以在第一次打开写入日志后不进行关闭操作,保持打开的状态,下一次写入则无需再次打开可直接写入。而由于实际过程中访问日志产生的量非常大,肯定不可能只往一个文件中写入数据,可能会按时间间隔每天写一个文件或按文件大小每50M写一个文件,所以在实际设计中会涉及到更换文件的操作,更换时需要把原来的文件流关闭。通过上述措施避免了文件频繁的打开关闭操作,但它同时也存在一些缺点,文件流不关闭会一直占用操作系统资源,且如果不及时关闭可能在程序运行过程中发生异常未正确处理而导致文件流未能关闭,进而将会导致内存泄漏。

l 添加缓冲区:添加缓冲区的作用简单地说应该是减少文件真实写入磁盘的次数,一般将文件写入的方式是每执行一次写入操作就把此次需要写入的数据写入磁盘介质中,而缓冲区模式则是把要写入的数据先写入内存中,当缓冲区内存量达到一定程度才写入磁盘,所以添加了缓冲区的文件操作并非每次写入都是存储介质中,缓冲区对于IO操作是一个十分重要的概念,缓冲区具体的实现可以参考我前面相关的章节,当然jdk已经提供了相关的缓冲类并不用我们重复制造轮子。缓冲区的添加无疑提高了操作性能,但它同样存在缺点,它无法百分之百保证所有数据都成功记录到存储介质中,可能在系统发生意外时导致缓冲区无法写入文件,而丢失的仅仅是缓冲区的数据。

l 利用“池”技术优化连接避免每次创建连接,池技术更多的是针对以数据库做为存储端的方案,即是我们最熟悉的连接池了,JDBC每次创建连接都需要很大的成本开销,如果每次写入都重新建立连接这对系统来说简直无法忍受,于是可以在系统初始化时就创建一个连接池,池内包含了很多建立好的连接,每次使用时只需往池里取出,使用完不关闭连接而是把连接重新放回池里即可。此种方式的好处显而易见,操作性能大大地提高,而如果真要说有哪些缺点的话估计只能说连接池需要占用一些操作系统资源,即使没有被使用。但对于现在的机器这点成本消耗基本可以忽略不计。

l 优化锁竞争,首先,在一个高并发的场景中日志的写入肯定是多线程的,多线程的使用在提高系统性能的作用是毋庸置疑的;其次,竟然在文件流的写入操作是多线程的,那必然涉及到锁竞争的问题,因为如果没有锁的保护文件可能被写得乱七八糟且正确性无法得到保证,所以线程一定是在写入前先尝试竞争写入锁,只有成功获取锁的线程才能执行写入操作,一旦写完就释放锁;最后,这种锁的竞争跟JDK的实现及JVM的实现相关,可能是所有竞争的线程采用自旋方式获取锁,也可能是采用线程挂起方式,对于自旋方式及挂起方式在不同场景有各自的优势,线程自旋模式可能会消耗资源,同样挂起恢复也可能会消耗资源,在实际使用中可通过性能测试比较决定使用哪种方式。在JDK的自带的并发包是先尝试自旋获取,若干次失败后进行挂起操作。

l 考虑使用非阻塞模式,所谓非阻塞(NIO)是指在进行IO操作时当执行写入操作时不等待执行结果而是直接放弃对CPU的使用,这种模式基于事件驱动,不同的事件由某一或若干线程处理,在实际中NIO模式被证实在某些场景中是性能提升的利器。它的唯一缺点估计是让你程序变得更加复杂。

使用异步IO,异步IO(AIO)是JDK1.7后提供的一种新IO模式,它主要是针对CPU的优化,是CPU级别的优化尝试,在实际中使用需要对系统使用场景做性能测试对比再决定是否进行AIO改造。



喜欢研究java的同学可以交个朋友,下面是本人的微信号:





作者:wangyangzhizhou 发表于2015/6/21 14:56:10 原文链接
阅读:0 评论:0 查看评论

相关 [访问 日志 io] 推荐:

访问日志IO性能优化

- - CSDN博客推荐文章
在高并发量的场景下磁盘IO往往是性能的瓶颈所在,访问日志涉及到频繁的写操作,所以这部分要尽可能地优化,不然将拖累系统的整体性能. 针对文件记录及数据库记录两种方式可以有以下措施提高写性能,. 将日志写入文件的一般操作步骤是打开-写入-关闭,但假如在需要频繁写入日志的场景下,这种方式在性能上肯定会存在问题,因为每次打开关闭都是需要成本开销的,所以必须要想想是否有别的更好的方式,竟然问题出现在打开关闭的次数,那么解决问题思路就从这里下手,可以在第一次打开写入日志后不进行关闭操作,保持打开的状态,下一次写入则无需再次打开可直接写入.

物理IO与逻辑IO

- - 操作系统 - ITeye博客
IO性能对于一个系统的影响是至关重要的. 一个系统经过多项优化以后,瓶颈往往落在数据库;而数据库经过多种优化以后,瓶颈最终会落到IO. 而IO性能的发展,明显落后于CPU的发展. Memchached也好,NoSql也好,这些流行技术的背后都在直接或者间接地回避IO瓶颈,从而提高系统性能. 上图层次比较多,但总的就是三部分.

Tomcat访问日志详细配置

- - zzm
在server.xml里的标签下加上. 就可以了,下面咱们逐一分析各个参数. 官方文档上说了This MUST be set to. 这个东西是日志文件放置的目录,在tomcat下面有个logs文件夹,那里面是专门放置日志文件的,当然你也可以修改,我就给改成了D:\. 这个是日志文件的名称前缀,我的日志名称为localhost_access_log.2007-09-22.txt,前面的前缀就是这个localhost_access_log.

linux异步IO浅析

- Sepher - kouu's home
知道异步IO已经很久了,但是直到最近,才真正用它来解决一下实际问题(在一个CPU密集型的应用中,有一些需要处理的数据可能放在磁盘上. 预先知道这些数据的位置,所以预先发起异步IO读请求. 等到真正需要用到这些数据的时候,再等待异步IO完成. 使用了异步IO,在发起IO请求到实际使用数据这段时间内,程序还可以继续做其他事情).

java nio和io的比较

- - 互联网 - ITeye博客
第一部分:简单介绍NIO.     服务器在合理时间内处理大量客户机的请求的能力取决于服务器使用I/O流的效率,同时为成百上千的客户提供服务的服务器必须能并发的使用I/O服务.     用Java语言写的服务器,由于其线程与客户机之比几乎是一比一,因而易受到大量线程开销的影响,其结果是即导致性能问题,又缺乏伸缩性.

C++之文件IO操作流

- Nanqi - 博客园-首页原创精华区
  前两节介绍了C++的IO流类库,标准设备IO操作流中部分预定义流对象的成员函数以及IO格式控制. 那今天我将继续介绍关于C++中的流操作内容——文件IO操作流fstream. 并会着重讲解C++是如何对文件进行操作的.   文件指存放在外部介质上的数据的集合. 大家都知道操作系统是以文件为单位来对数据进行管理的.

异步IO一定更好吗?

- Wolf - CNode社区
在长林的文章《nodejs异步IO的实现》中提到,NodeJS通过libeio来实现IO操作的异步化,而libeio采用多线程的方式来模拟异步操作. 这里我需要强调一个观点,异步IO虽然是NodeJS一个非常重要的特点,但异步IO并不总是最好的,其他语言也一样. 在我的磁盘上有2个文件,我希望在一个程序里读取这2个文件,每次输出一个字符.

linux AIO (异步IO) 那点事儿

- zffl - CNode社区
这时候进程至少会阻塞10次,而这可能会导致其他的上千个用户请求得不到处理,这当然是不能接受的.. Linux AIO 早就被提上议程,目前比较知名的有 Glibc 的 AIO   与 Kernel Native AIO. 我们用Glibc 的AIO 做个小实验,写一个简单的程序:异步方式读取一个文件,并注册异步回调函数:.

MySQL数据库的IO操作

- - haohtml's blog
         淘宝丁奇分享的PPT:MySQL数据库的IO操作,详细分享了四块的内容,并且告诉大家如何调整MySQL数据库IO操作相关的参数,给出了详细的选择策略,现替其整理成文章分享与此. 4.影响io行为的一些参数和选择策略. 一个简单的查询 select * from t where id>=(  select id from t where k1=100 limit 100000,1) limit 2;.

定位IO瓶颈的一些方法

- - Linux - 操作系统 - ITeye博客
IO瓶颈往往是我们可能会忽略的地方(我们常会看top、free、netstat等等,但经常会忽略IO的负载情况),今天给大家详细分享一下如何确认一台服务器的IO负载是否到达了瓶颈,以及可能优化、定位的点. 先来看一台典型的IO密集型服务器的cpu统计图:. 可以看到,CPU总使用率不高,平均1.3%,max到5.6%,虽然大部分都耗在了iowait上,但才百分之五左右,应该还没到瓶颈吧.