MemCached详解

Memcached处理的原子是每一个（key，value）对（以下简称kv对），key会通过一个hash算法转化成hash-key，便于查找、对比以及做到尽可能的散列。同时，memcached用的是一个二级散列，通过一张大hash表来维护。

Memcached有两个核心组件组成：服务端（ms）和客户端（mc），在一个memcached的查询中，mc先通过计算key的hash值来 确定kv对所处在的ms位置。当ms确定后，客户端就会发送一个查询请求给对应的ms，让它来查找确切的数据。因为这之间没有交互以及多播协议，所以 memcached交互带给网络的影响是最小化的。

内存分配

默认情况下，ms是用一个内置的叫“块分配器”的组件来分配内存的。舍弃c++标准的malloc/free的内存分配，而采用块分配器的主要目的 是为了避免内存碎片，否则操作系统要花费更多时间来查找这些逻辑上连续的内存块（实际上是断开的）。用了块分配器，ms会轮流的对内存进行大块的分配，并 不断重用。当然由于块的大小各不相同，当数据大小和块大小不太相符的情况下，还是有可能导致内存的浪费。

同时，ms对key和data都有相应的限制，key的长度不能超过250字节，data也不能超过块大小的限制 --- 1MB。
因为mc所使用的hash算法，并不会考虑到每个ms的内存大小。理论上mc会分配概率上等量的kv对给每个ms，这样如果每个ms的内存都不太一样，那 可能会导致内存使用率的降低。所以一种替代的解决方案是，根据每个ms的内存大小，找出他们的最大公约数，然后在每个ms上开n个容量=最大公约数的 instance，这样就等于拥有了多个容量大小一样的子ms，从而提供整体的内存使用率。

缓存策略

当ms的hash表满了之后，新的插入数据会替代老的数据，更新的策略是LRU（最近最少使用），以及每个kv对的有效时限。Kv对存储有效时限是在mc端由app设置并作为参数传给ms的。

同时ms采用是偷懒替代法，ms不会开额外的进程来实时监测过时的kv对并删除，而是当且仅当，新来一个插入的数据，而此时又没有多余的空间放了，才会进行清除动作。

缓存数据库查询

现在memcached最流行的一种使用方式是缓存数据库查询，下面举一个简单例子说明：

App需要得到userid=xxx的用户信息，对应的查询语句类似：

“SELECT * FROM users WHERE userid = xxx”

App先去问cache，有没有“user:userid”（key定义可预先定义约束好）的数据，如果有，返回数据；如果没有，App会从数据库中读取数据，并调用cache的add函数，把数据加入cache中。

当取的数据需要更新，app会调用cache的update函数，来保持数据库与cache的数据同步。

从上面的例子我们也可以发现，一旦数据库的数据发现变化，我们一定要及时更新cache中的数据，来保证app读到的是同步的正确数据。当然我们可 以通过定时器方式记录下cache中数据的失效时间，时间一过就会激发事件对cache进行更新，但这之间总会有时间上的延迟，导致app可能从 cache读到脏数据，这也被称为狗洞问题。（以后我会专门描述研究这个问题）

数据冗余与故障预防

从设计角度上，memcached是没有数据冗余环节的，它本身就是一个大规模的高性能cache层，加入数据冗余所能带来的只有设计的复杂性和提高系统的开支。

当一个ms上丢失了数据之后，app还是可以从数据库中取得数据。不过更谨慎的做法是在某些ms不能正常工作时，提供额外的ms来支持cache，这样就不会因为app从cache中取不到数据而一下子给数据库带来过大的负载。

同时为了减少某台ms故障所带来的影响，可以使用“热备份”方案，就是用一台新的ms来取代有问题的ms，当然新的ms还是要用原来ms的IP地址，大不了数据重新装载一遍。

另外一种方式，就是提高你ms的节点数，然后mc会实时侦查每个节点的状态，如果发现某个节点长时间没有响应，就会从mc的可用server列表里 删除，并对server节点进行重新hash定位。当然这样也会造成的问题是，原本key存储在B上，变成存储在C上了。所以此方案本身也有其弱点，最好 能和“热备份”方案结合使用，就可以使故障造成的影响最小化。

Memcached客户端(mc)

Memcached客户端有各种语言的版本供大家使用，包括java，c，php，.net等等，具体可参见 memcached api page [2]。
大家可以根据自己项目的需要，选择合适的客户端来集成。

缓存式的WEB应用程序架构

有了缓存的支持，我们可以在传统的app层和db层之间加入cache层，每个app服务器都可以绑定一个mc，每次数据的读取都可以从ms中取得，如果 没有，再从db层读取。而当数据要进行更新时，除了要发送update的sql给db层，同时也要将更新的数据发给mc，让mc去更新ms中的数据。

性能测试

Memcached 写速度
平均速度: 16222 次/秒
最大速度 18799 次/秒

Memcached 读速度
平均速度: 20971 次/秒
最大速度 22497 次/秒

Memcachedb 写速度
平均速度: 8958 次/秒
最大速度 10480 次/秒

Memcachedb 读速度
平均速度: 6871 次/秒
最大速度 12542 次/秒
Memcached客户端(mc)的使用方法

创建memcached.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<memcached>
   
    <client name="mclient0" compressEnable="true" defaultEncoding="UTF-8" socketpool="pool0">
        <errorHandler>com.moit.xplatform.asf.cache.memcached.MemcachedErrorHandler</errorHandler>
    </client>
   
    <client name="mclient1" compressEnable="true" defaultEncoding="UTF-8" socketpool="pool1">
        <errorHandler>com.moit.xplatform.asf.cache.memcached.MemcachedErrorHandler</errorHandler>
    </client>
   
    <client name="mclient2" compressEnable="true" defaultEncoding="UTF-8" socketpool="pool2">
        <errorHandler>com.moit.xplatform.asf.cache.memcached.MemcachedErrorHandler</errorHandler>
    </client>
   
    <socketpool name="pool0" failover="true" initConn="5" minConn="5" maxConn="250" maintSleep="0"
        nagle="false" socketTO="3000" aliveCheck="true">

	<!--MS的服务器地址-->
        <servers>192.168.3.251:11211,192.168.3.251:11211</servers>
    </socketpool>
   
    <socketpool name="pool1" failover="true" initConn="5" minConn="5" maxConn="250" maintSleep="0"
        nagle="false" socketTO="3000" aliveCheck="true">
        <servers>192.168.3.251:11211,192.168.3.251:11211</servers>
    </socketpool>
   
    <socketpool name="pool2" failover="true" initConn="5" minConn="5" maxConn="250" maintSleep="0"
        nagle="false" socketTO="3000" aliveCheck="true">
        <servers>192.168.3.251:11211,192.168.3.251:11211</servers>
    </socketpool>
    <cluster name="cluster1">
        <memCachedClients>mclient1,mclient2</memCachedClients>
    </cluster>
</memcached>

//用containsKey方法判断cache服务器按指定的key值是否存在。
System.out.println("是否包含了key的数据="+cache.containsKey("key"));
if(cache.containsKey("key"))
{
    System.out.println("包含了key的数据");
    System.out.println("从cache服务器获得key值");
}
else
{
    System.out.println("没有包含了key的数据");
    System.out.println("cache服务器,没有数据,则去取数据库数据!");
}

例子如下：

static ICacheManager<IMemcachedCache> manager;

public String memcache()
{
    manager = CacheUtil.getCacheManager(IMemcachedCache.class,
    MemcachedCacheManager.class.getName());
    manager.start();
    try{

       //"mclient0"为配置文件中client标签中的名字
       IMemcachedCache cache = manager.getCache("mclient0");
       //根据key得到缓存数据
        String a =(String)cache.get("key");
       //用containsKey方法判断cache服务器按指定的key值是否存在。
        System.out.println("是否包含了key的数据="+cache.containsKey("key"));
       if(cache.containsKey("key"))
       {
        System.out.println("包含了key的数据");
        System.out.println("从cache服务器获得key值");
       }
       else
       {
        System.out.println("没有包含了key的数据");
        System.out.println("cache服务器,没有数据,则去取数据库数据!");
       }
       //根据key删除服务器上的对应的缓存数据
        cache.remove("key");
       //根据key保存数据到服务器上
        cache.put("key", "你好!");
       //设置带有过期时间的例子
        //过30分钟
        Calendar calendar = Calendar.getInstance();//当前日期
        calendar.setTime(new Date());
        calendar.add(Calendar.MINUTE, 30);//
        cache.remove("keytime");
        cache.put("keytime", "30分钟后过期",calendar.getTime());
        System.out.println("30分钟后过期=keytime="+cache.get("keytime"));
        System.out.println("cache服务器getTime="+calendar.getTime());  
  
   }finally{ manager.stop();}
     //jsp 使用请参考test.jsp文件
     return "testmempage";
}

安装memcache

以下几句，是以php所在目录为/usr/local/php为例，如果您的php有变化，请自行替换几句中/usr/local/php的部分

将memcache加入php扩展

# vi /etc/php.ini（/etc/php.ini地址为我的php.ini位置，如果你不知道你的php.ini在哪里，可以用# find / -name php.ini进行查找，或者传个探针phpinfo，找到Configuration File (php.ini) Path）中php.ini的位置.

末尾加入

按键盘上的 i 开始编辑

CTRL+F翻页拉到最下面在［Zend］之前加入

按Esc键，再输入

：wq

保存退出

重启你的web服务器，比如apache

   
    
     
/etc/init.d/httpd
 restart

下面刷新下PHP探针，看下是不是有这个了，有的话就是装好了

下面安装memcached

装memcached首先需要安装安装libevent

如果是centos可以yum安装

如果不支持yum的系统，可以这样装libevent

接续安装memcached

安装完后启动memcached并分配32m内存（32为使用内存数，可按自身情况修改）

将memcached加入启动项

按键盘上的 i 开始编辑

在最后加入

按Esc键，再输入

：wq

保存退出

如果需要，可以reboot一下，不过不用reboot应该已经生效~

加速效果测试

用没有什么负载的Discuz X1做个测试，未启用时

缓存启用后的效果，不过总体感觉VPS上效果不如用eAccelerato缓存加入效果那么明显

大功告成，打完收工！~~

参考资源：
http://www.chinaz.com/web/2010/0916/133310.shtml
http://sebug.net/paper/databases/nosql/Nosql.html#MemCached_4727136253125943_099_19137860612924817