fqueue初步分析
- tangfl - 淘宝JAVA中间件团队博客 fqueue是国产的一个类似memcacheq,kestrel这样的支持memcached协议的轻量级开源MQ. http://code.google.com/p/fqueue/downloads/list，介绍和特点都可以看主页，我就不废话了. 今天老大提到， co了源码看了下，写个初步分析报告.
fqueue初步分析
标签：
未分类
| 发表时间：2011-09-17 16:55 | 作者：boyan tangfl
出处：http://rdc.taobao.com/team/jm
fqueue是国产的一个类似memcacheq,kestrel这样的支持memcached协议的轻量级开源MQ。它的项目主页：
http://code.google.com/p/fqueue/downloads/list，介绍和特点都可以看主页，我就不废话了。
今天老大提到， co了源码看了下，写个初步分析报告。
首先是它的存储层，主要是一个FQueue这么一个抽象队列，内部实现是FSQueue，也就是基于文件的FIFO队列。这个队列是多个文件组成的。每个文件默认大小在150M，超过即切换一个新文件来写。读的时候如果读到尾部，则查找下一个文件进行读取。数据文件名以idb为后缀，并且从编号1开始递增，除了数据文件外，每个队列还有个db为后缀的索引文件，记录当前写和读的数据文件编号和偏移量。目录结构大概是这样：
–fqueue
–fqueuedata_1.idb
–fqueuedata_2.idb
–……
–icqueue.db
文件的存储比较有特色，采用MappedByteBuffer做文件读写，MappedByteBuffer是java nio引入的文件内存映射方案，读写性能极高，但是也有一定的问题，比如说内存占用，以及数据刷入设备的不确定性和关闭问题。在fqueue中，每隔10毫秒会强制force一次buffer，将修改过的数据刷入设备。对于关闭问题，则采用那个技巧，示例代码：
/**
* 关闭索引文件
*/
public void close() {
try {
mappedByteBuffer.force();
AccessController.doPrivileged(new PrivilegedAction<Object>() {
public Object run() {
try {
Method getCleanerMethod = mappedByteBuffer.getClass().getMethod(“cleaner”, new Class[0]);
getCleanerMethod.setAccessible(true);
sun.misc.Cleaner cleaner = (sun.misc.Cleaner) getCleanerMethod.invoke(mappedByteBuffer,
new Object[0]);
cleaner.clean();
} catch (Exception e) {
log.error(“close logindexy file error:”, e);
}
return null;
}
});
fc.close();
dbRandFile.close();
mappedByteBuffer = null;
fc = null;
dbRandFile = null;
} catch (IOException e) {
log.error(“close logindex file error:”, e);
}
}
* 关闭索引文件
*/
public void close() {
try {
mappedByteBuffer.force();
AccessController.doPrivileged(new PrivilegedAction<Object>() {
public Object run() {
try {
Method getCleanerMethod = mappedByteBuffer.getClass().getMethod(“cleaner”, new Class[0]);
getCleanerMethod.setAccessible(true);
sun.misc.Cleaner cleaner = (sun.misc.Cleaner) getCleanerMethod.invoke(mappedByteBuffer,
new Object[0]);
cleaner.clean();
} catch (Exception e) {
log.error(“close logindexy file error:”, e);
}
return null;
}
});
fc.close();
dbRandFile.close();
mappedByteBuffer = null;
fc = null;
dbRandFile = null;
} catch (IOException e) {
log.error(“close logindex file error:”, e);
}
}
利用反射，并且使用了sun特有的类，不具有可移植性。MappedByteBuffer还有一个问题是map的代价比较高，可能在切换文件的时候fqueue会有一定程度的阻塞现象。
存储的性能，我在我的机器测试了下，似乎没有作者宣称的那么高，我的机器是5400转的普通SATA盘，写入1K数据的平均QPS在8000左右。我估计fqueue的性能跟磁盘有很大关系，如果使用15000转的SAS盘应该能有很大改观。
网络层直接使用了jmemcached的实现，jmemcached是一个java实现的memcached，通常用于单元测试之类。看情况fqueue也支持memcached的二进制协议了。网络框架使用了netty3，这些就不多说了。自己看都明白。额外提一下，作者做的单元测试使用了xmemcached，咔咔，广而告之。
总体来说fqueue是一个整体上很清爽和轻量级的MQ实现，适合一些特定的场景，至于性能，我们下周准备做个压测，到时候再谈吧。
相关 [fqueue 分析] 推荐：
竞品分析
- 章明 - 互联网的那点事关于竞品分析，之前天行（@天行Aeros）有篇文章《设计公式：简单有效的竞品分析》已经进行了介绍，本文在该文章的基础之上再进行一些分享，希望对大家有用. 竞品分析（Competitive Analysis）一词最早源于经济学领域. 市场营销和战略管理方面的竞品分析是指对现有的或潜在的竞争产品的优势和劣势进行评价.
Excel-对比图分析（差异分析）
- - CSDN博客数据库推荐文章本文摘自作者《网站数据分析：数据驱动的网站管理、优化和运营 》： http://item.jd.com/11295690.html. 对比分析就是将两个或两个以上的数据进行比较，分析它们之间的差异，从而揭示这些数据所代表事物的发展变化情况和规律. 通过对比，可以很直观地看出事物在某方面的差距，并且可以准确、量化地表示出差距的多少.
Netty代码分析
- LightingMan - 淘宝JAVA中间件团队博客Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序[官方定义]，整体来看其包含了以下内容：1.提供了丰富的协议编解码支持，2.实现自有的buffer系统，减少复制所带来的消耗，3.整套channel的实现，4.基于事件的过程流转以及完整的网络事件响应与扩展，5.丰富的example.
分析帝转世
- JoyLee - Lzhi's Views纪晓岚与和珅的经典对白（和绅说得是实话啊）. 本文网址:http://www.lzhi.org/views/652030. 欢迎加入500人超级QQ群：108869281，交流最新好文章.
"偷情的分析
- 阳阳 - Cao Liu一、弦断无人听��风情万种的才情女子，下嫁给木头人或者肌肉男. 他永远不可能对落叶秋风或者飞雪骄阳产生莫名感触，并视此种举动为无知可笑. 你梦想中一直有一个优雅书生，你可以和他笑傲江湖，共赏风花雪月. 有一天，这个人悄然降临，似乎是一种无可逃脱的宿命. 二、你是疯儿我是傻��挑不出他品德上的毛病.
GFS架构分析
- zou - NOSQL NotesGoogle文件系统（Google File System，GFS）是构建在廉价的服务器之上的大型分布式系统. 它将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用性的同时，大大减少了系统的成本. GFS是Google云存储的基石，其它存储系统，如Google Bigtable，Google Megastore，Google Percolator均直接或者间接地构建在GFS之上.