[来自异次元] Yun.io 一款用心制作的国产文件同步网盘云存储服务 (支持Win/Mac/Linux/手机)

IO性能对于一个系统的影响是至关重要的. 一个系统经过多项优化以后，瓶颈往往落在数据库；而数据库经过多种优化以后，瓶颈最终会落到IO. 而IO性能的发展，明显落后于CPU的发展. Memchached也好，NoSql也好，这些流行技术的背后都在直接或者间接地回避IO瓶颈，从而提高系统性能. 上图层次比较多，但总的就是三部分.

我相信使用Nginx的都会遇到过502 504 这种bad gateway错误，下面我把碰到这个问题分析过程记录并分享出来. 从字面上的意思理解，nginx从upstream没有接受到信息，第一感觉就是连接被close. 超时的话一般错误信息是 timeout. 下面是尝试解决这个问题尝试过的手段.

知道异步IO已经很久了，但是直到最近，才真正用它来解决一下实际问题（在一个CPU密集型的应用中，有一些需要处理的数据可能放在磁盘上. 预先知道这些数据的位置，所以预先发起异步IO读请求. 等到真正需要用到这些数据的时候，再等待异步IO完成. 使用了异步IO，在发起IO请求到实际使用数据这段时间内，程序还可以继续做其他事情）.

第一部分：简单介绍NIO.     服务器在合理时间内处理大量客户机的请求的能力取决于服务器使用I/O流的效率，同时为成百上千的客户提供服务的服务器必须能并发的使用I/O服务.     用Java语言写的服务器，由于其线程与客户机之比几乎是一比一，因而易受到大量线程开销的影响，其结果是即导致性能问题，又缺乏伸缩性.

　　前两节介绍了C++的IO流类库，标准设备IO操作流中部分预定义流对象的成员函数以及IO格式控制. 那今天我将继续介绍关于C++中的流操作内容——文件IO操作流fstream. 并会着重讲解C++是如何对文件进行操作的. 　　文件指存放在外部介质上的数据的集合. 大家都知道操作系统是以文件为单位来对数据进行管理的.

在长林的文章《nodejs异步IO的实现》中提到，NodeJS通过libeio来实现IO操作的异步化，而libeio采用多线程的方式来模拟异步操作. 这里我需要强调一个观点，异步IO虽然是NodeJS一个非常重要的特点，但异步IO并不总是最好的，其他语言也一样. 在我的磁盘上有2个文件，我希望在一个程序里读取这2个文件，每次输出一个字符.

这时候进程至少会阻塞10次，而这可能会导致其他的上千个用户请求得不到处理，这当然是不能接受的.. Linux AIO 早就被提上议程，目前比较知名的有 Glibc 的 AIO   与 Kernel Native AIO. 我们用Glibc 的AIO 做个小实验，写一个简单的程序：异步方式读取一个文件，并注册异步回调函数：.

         淘宝丁奇分享的PPT：MySQL数据库的IO操作，详细分享了四块的内容，并且告诉大家如何调整MySQL数据库IO操作相关的参数，给出了详细的选择策略，现替其整理成文章分享与此. 4.影响io行为的一些参数和选择策略. 一个简单的查询 select * from t where id>=(  select id from t where k1=100 limit 100000,1) limit 2;.

IO瓶颈往往是我们可能会忽略的地方（我们常会看top、free、netstat等等，但经常会忽略IO的负载情况），今天给大家详细分享一下如何确认一台服务器的IO负载是否到达了瓶颈，以及可能优化、定位的点. 先来看一台典型的IO密集型服务器的cpu统计图：. 可以看到，CPU总使用率不高，平均1.3%，max到5.6%，虽然大部分都耗在了iowait上，但才百分之五左右，应该还没到瓶颈吧.

           在MapReduce执行过程中，特别是Shuffle阶段，尽量使用内存缓冲区存储数据，减少磁盘溢写次数；同时在作业执行过程中增加并行度，都能够显著提高系统性能，这也是配置优化的一个重要依据.            下面分别介绍I/O属性和MapReduce属性这两个类的部分属性，并指明其优化方向.