Memcached for移动互联网:mcperf压测1k~10k数据笔记

标签: memcached for 移动 | 发表时间:2012-12-31 18:56 | 作者:
出处:http://www.iteye.com

移动互联网场景中随着人机交互方式的改变,用户数据也发生了比较大的改变。从以1k以下的文本为主数据,变为1k~10k的音频占很大比例的数据。响应的后端服务的队列、存储、缓存也需要做一系列针对性调整。这里就简单记录一下maoyidao对Memcached的压测情况。

1. 压测工具:mcperf

mcperf使用简单,输出报告清晰。最初是twitter为了证明其Twemcache在特定场景下(需要自动调节slab大小的场景下)比memcached强悍而开发的基准压测工具。比如在Random Eviciton vs Slab Automove(https://github.com/twitter/twemcache/wiki/Random-Eviciton-vs-Slab-Automove)一文中,就使用了mcperf作为基准压测工具。

1.1 安装

下载tar包,执行autoreconf


# git clone git://github.com/twitter/twemperf.git
# cd twemperf
# autoreconf -fvi

 

我得到了一个错误,autoconf版本太低,需要升级。先看一下本机版本,然后下载安装2.65版本的autoconf。


# rpm -qf /usr/bin/autoconf
# wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.65.tar.gz
# tar -xzvf autoconf-2.65.tar.gz
# cd autoconf-2.65
# ./configure --prefix=/usr
# make
# make install
# /usr/bin/autoconf -V

 

安装完毕,通过help命令看一下版本号。


# CFLAGS="-ggdb3 -O0" ./configure --enable-debug
# make
# src/mcperf -h

1.2 压测命令

src/mcperf -s 172.16.138.88 -p 11211 --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10000 --num-conns=100 --sizes=u1024,10240


--num-conns=100是并发建立100个连接;--num-calls=10000是在一个连接上发1w个请求;--sizes是数据大小在1k和10k之间称正态分布;-conn-rate=1000是1秒钟建立1000个连接

 

2. 压测环境

2.1 启动Memcached

/usr/local/bin/memcached -d -m 1024 -p 11211 -u root


查看一下Memcached设置,主要关注:growth_factor、maxconns和evictions:


[maoyidao@yf03701 ~]$ printf "stats settings\r\n" | nc 172.16.138.123 11212

STAT maxbytes 0

STAT maxconns 4096

STAT tcpport 11212

STAT udpport 11211

STAT inter 172.16.138.123

STAT verbosity 0

STAT oldest 0

STAT evictions on

STAT domain_socket NULL

STAT umask 700

STAT growth_factor 1.25

STAT chunk_size 48

STAT num_threads 5

STAT stat_key_prefix :

STAT detail_enabled no

STAT reqs_per_event 20

STAT cas_enabled yes

STAT tcp_backlog 1024

STAT binding_protocol auto-negotiate

END

 

2.2 Memcached性能监控

下面介绍2个广泛使用的Memcached性能监控工具,在MC的实际使用中起到极大作用,每个使用MC的同学都应该熟练掌握。

2.2.1 memcached-tool

主要用于查看slab分配的情况,evction的情况。

https://github.com/memcached/memcached/blob/master/scripts/memcached-tool


[root@yf08801 maoyidao]# ./memcache-tool localhost:11211

  #  Item_Size  Max_age   Pages   Count   Full?  Evicted Evict_Time OOM

 19     5.5K      2080s      63   11587     yes     1791      710    0

 20     6.9K      2080s     234   34388     yes     5143      710    0

 21     8.7K      2080s     365   43057     yes     6600      710    0

 22    10.8K      2080s     365   34294     yes     5501      710    0

 

2.2.2 memcache-top

主要用于查看吞吐和hits情况。

http://code.google.com/p/memcache-top/


./memcache-top-v0.6 --instance 172.16.138.123,172.16.138.124 --port 11211


memcache-top v0.6       (default port: 11211, color: on, refresh: 3 seconds)


INSTANCE                USAGE   HIT %   CONN    TIME    EVICT/s READ/s  WRITE/s

172.16.138.123:11411    13.4%   96.1%   871     671.8ms 0.0     16.9K   39.4K

172.16.138.124:11411    13.3%   96.1%   865     660.6ms 0.0     20.8K   49.7K


AVERAGE:                13.4%   96.1%   868     666.2ms 0.0     18.9K   44.6K


TOTAL:          0.5GB/  4.0GB           1736    1.33s   0.0     37.8K   89.1K

 

3. 压测结果

3.1 总结

1,即使对于5k~10k大数据,mc的吞吐和延时表现也令人感到满意。

2,连接数需要控制,100个并发连接的延时是1000个并发连接的1%,吞吐也高了3倍。

3,大量的eviction对mc本身影响不大,但在这个场景显然需要预热。因为大数据会迅速占据所有slab空间,导致后面的小数据无内存可分,如下面的统计:

[root@yf08801 maoyidao]# ./memcache-tool localhost:11211

  #  Item_Size  Max_age   Pages   Count   Full?  Evicted Evict_Time OOM

 12     1.2K      3043s       1     885     yes     7837        5    0

 13     1.4K      3047s       1     708     yes    31336        1    0

 14     1.8K      3047s       1     564     yes    40180        1    0

 15     2.3K      3047s       1     451     yes    49471        1    0

 16     2.8K      3048s       1     361     yes    63140        0    0

 17     3.5K      3048s       1     288     yes    78878        0    0

 18     4.4K      3048s       1     230     yes    98750        0    0

 19     5.5K      3043s      63   11592     yes   117272        5    0

 20     6.9K      3037s     234   34398     yes   131097       11    0

 21     8.7K      3037s     365   43070     yes   163339       11    0

 22    10.8K      3037s     365   34310     yes   132305       11    0

 

3.2 原始数据摘要

数据大小:5k~10k,set 10w次;

1000个连接:3436.0 rsp/s;Response time [ms]: avg 178.0 min 0.0 max 2244.1 stddev 0.22

100个连接:9909.9 req/s;Response time [ms]: avg 0.6 min 0.1 max 2.4 stddev 0.00

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [memcached for 移动] 推荐:

Memcached for移动互联网:mcperf压测1k~10k数据笔记

- - ITeye博客
移动互联网场景中随着人机交互方式的改变,用户数据也发生了比较大的改变. 从以1k以下的文本为主数据,变为1k~10k的音频占很大比例的数据. 响应的后端服务的队列、存储、缓存也需要做一系列针对性调整. 这里就简单记录一下maoyidao对Memcached的压测情况. mcperf使用简单,输出报告清晰.

memcached+magent实现memcached集群

- - 编程语言 - ITeye博客
首先说明下memcached存在如下问题.   本身没有内置分布式功能,无法实现使用多台Memcache服务器来存储不同的数据,最大程度的使用相同的资源;无法同步数据,容易造成单点故障. (memagent代理实现集群).       在 Memcached中可以保存的item数据量是没有限制的,只要内存足够.

MemCached详解

- - CSDN博客推荐文章
首先,我们来了解一下MemCached与MemCache之间的区别:. Memcache是一个自由和开放源代码、高性能、分配的内存对象缓存系统. 用于加速动态web应用程序,减轻数据库负载. 它可以应对任意多个连接,使用非阻塞的网络IO. 由于它的工作机制是在内存中开辟一块空间,然后建立一个HashTable,Memcached自管理这 些HashTable.

Memcached调优

- - 四火的唠叨
文章系本人原创,转载请保持完整性并注明出自 《四火的唠叨》. 项目中有一个对实时响应性比较高的服务,引入了Memcached以减少延迟和减少数据库压力. 但是期间遇到了一些问题,这里记录一些调优细节. 最开始我使用的是 Memcached Java Client,但是最后放弃了,放弃原因包括:.

memcached协议

- - 开源软件 - ITeye博客
旧版: http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt. 新版: https://github.com/memcached/memcached/blob/master/doc/protocol.txt.

Java使用memcached

- - 互联网 - ITeye博客
首先到 http://danga.com/memcached下载memcached的windows版本和java客户端jar包,目前最新版本是memcached-1.2.1-win32.zip和java_memcached-release_1.6.zip,分别解压后即可. 然后是安装运行memcached服务器,我们将memcached-1.2.1-win32.zip解压后,进入其目录,然后运行如下命令:c:>;memcached.exe -d install
c:>memcached.exe -l 127.0.0.1 -m 32 -d start.

Spring+memcached整合

- - 行业应用 - ITeye博客
1)  下载memcached服务端memcached-1.2.6-win32-bin.zip,地址:http:. 2)  下载java版客户端 java_memcached-release_2.6.1.zip. 3)  解压缩memcached-1.2.6-win32-bin.zip到指定目录,例如:D:\memcached-1.2.6-win32 ,.

转 redis vs memcached

- - 数据库 - ITeye博客
传统MySQL+ Memcached架构遇到的问题.   实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:.   1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间.

Memcached安全性

- - xiaobaoqiu Blog
1.Memcached -l参数. 1.Memcached -l参数. 最近整理了组内使用的Memcached. 发现很多问题,其中一个问题就是开发机器测试机器可以直连线上的Memcached. 这也是memcached公认的问题:memcached 是一种很简单、有效的协议,但也有其缺点,就是 memcached 自身没有 ACL 控制(或者相当弱).

Memcached的LRU算法

- Eric - 平凡的世界
最近计划对Memcached做一些尝试性的改造,主要是针对Memcached在处理过期数据的时候进行改造,以实现在一个缓存的过期时间达到的时候,可以对该缓存的数据进行一个验证和存储的处理. 这个需求,主要是为了解决MySQL的写入瓶颈,通过延期、合并写入请求来减少MySQL的并发写入量. 现在逐渐记录出来和有需要的朋友一起讨论.