多种方式测试redis入库性能

标签: 测试 redis 性能 | 发表时间:2013-08-07 14:30 | 作者:
出处:http://heipark.iteye.com

 

  Transaction Pipeline 耗时(s)
测试一: N N 311
测试二: N Y 10
测试三: Y Y 7
测试四: Y N 10

 

结论:Pipeline + Transaction方式是几种插入方式中性能最好的。虽然有点意外,但测试多次仍然是这个结论。

 

测试代码如下:

 

import org.apache.commons.lang.RandomStringUtils;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.Pipeline;
import redis.clients.jedis.Transaction;

public class RedisTransactionTest {

	private static String host = "xx.xx.xx.xx";

	private static JedisPool pool = new JedisPool(new JedisPoolConfig(), host);

	private long rowCount = 1000000; // 100万

	public static void main(String[] args) {
		long start = System.currentTimeMillis();
		new RedisTransactionTest().noTransactionNoPipeline();
		System.out.println("noTransactionNoPipeline use " + (System.currentTimeMillis() - start) / 1000);

		pool = new JedisPool(new JedisPoolConfig(), host);
		start = System.currentTimeMillis();
		new RedisTransactionTest().pipelineWithoutTransaction();
		System.out.println("pipelineWithoutTransaction use " + (System.currentTimeMillis() - start) / 1000);

		pool = new JedisPool(new JedisPoolConfig(), host);
		start = System.currentTimeMillis();
		new RedisTransactionTest().pipelineWithTransaction();
		System.out.println("pipelineWithTransaction use " + (System.currentTimeMillis() - start) / 1000);

		pool = new JedisPool(new JedisPoolConfig(), host);
		start = System.currentTimeMillis();
		new RedisTransactionTest().transactionNoPipeline();
		System.out.println("transactionNoPipeline use " + (System.currentTimeMillis() - start) / 1000);

	}

	public void pipelineWithoutTransaction() {
		Jedis jedis = pool.getResource();
		try {
			Pipeline p = jedis.pipelined();
			for (int i = 0; i < rowCount; i++) {
				String key = RandomStringUtils.randomAlphabetic(8);
				p.set(key, RandomStringUtils.randomNumeric(5));
				p.expire(key, 5 * 60);
			}
			p.sync();
		} catch (Exception e) {
			pool.returnResource(jedis);
		}
	}

	public void pipelineWithTransaction() {
		Jedis jedis = pool.getResource();
		try {
			Pipeline p = jedis.pipelined();
			p.multi();
			for (int i = 0; i < rowCount; i++) {
				String key = RandomStringUtils.randomAlphabetic(8);
				p.set(key, RandomStringUtils.randomNumeric(5));
				p.expire(key, 5 * 60);
			}
			p.exec();
			p.sync();
		} catch (Exception e) {
			pool.returnResource(jedis);
		}
	}

	public void noTransactionNoPipeline() {
		Jedis jedis = pool.getResource();
		try {
			for (int i = 0; i < rowCount; i++) {
				String key = RandomStringUtils.randomAlphabetic(8);
				jedis.set(key, RandomStringUtils.randomNumeric(5));
				jedis.expire(key, 5 * 60);
			}
		} catch (Exception e) {
			pool.returnResource(jedis);
		}
	}

	public void transactionNoPipeline() {
		Jedis jedis = pool.getResource();
		try {
			Transaction tx = jedis.multi();
			for (int i = 0; i < rowCount; i++) {
				String key = RandomStringUtils.randomAlphabetic(8);
				tx.set(key, RandomStringUtils.randomNumeric(5));
				tx.expire(key, 5 * 60);
			}
			tx.exec();
		} catch (Exception e) {
			pool.returnResource(jedis);
		}
	}
}

 --end

 

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [测试 redis 性能] 推荐:

多种方式测试redis入库性能

- - The Big Data Way
结论:Pipeline + Transaction方式是几种插入方式中性能最好的. 虽然有点意外,但测试多次仍然是这个结论. private long rowCount = 1000000; // 100万. 已有 0 人发表留言,猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

redis 性能问题查找

- - 开源软件 - ITeye博客
          使用redis作为数据库时,系统出现少量超时,通过日志信息发现,超时发生在bgsave时. bgsave命令会fork一个子进程,子进程会将redis数据库信息dump到rdb文件中. 因此不能确定使用bgsave命令时,是fork一个子进程引起超时,还是dump文件时与主进程的sync同步同时写磁盘引起的超时.

Redis性能调优 - 简书

- -
尽管Redis是一个非常快速的内存数据存储媒介,也并不代表Redis不会产生性能问题. 前文中提到过,Redis采用单线程模型,所有的命令都是由一个线程串行执行的,所以当某个命令执行耗时较长时,会拖慢其后的所有命令,这使得Redis对每个任务的执行效率更加敏感. 针对Redis的性能优化,主要从下面几个层面入手:.

Php及Redis安装测试汇总

- - 快课网
后端开发用到php操作redis,在此将安装测试过程中遇到的问题汇总记录下来,以便以后参考. 3.php redis 扩展安装. 下载地址: http://download.redis.io/releases/. 为方便使用,在/usr目录下创建redis目录,讲如下几个文件拷贝到/usr/redis/目录下:.

Redis性能调优:保存SNAPSHOT对性能的影响

- - CSDN博客系统运维推荐文章
前一段时间,开发环境反馈,Redis服务器访问非常慢,每个请求要数秒时间,重启之后2~3天又会这样. 我查看了一下Linux的性能,没有什么问题. 发现访问Redis确实很慢,执行info要几秒时间. 里面有个参数已连接的客户端几万个,通过. 查看到很多client的age都很大,一直没有释放. 于是怀疑是不是和这个有关,因为版本是2.8.6,无法通过client一次性kill掉所有的连接,只能写一个程序,一个一个地kill掉(.

mongodb性能测试

- - 数据库 - ITeye博客
1) Mongodb的非安全插入方式,在一开始插入性能是非常高的,但是在达到了两千万条数据之后性能骤减,这个时候恰巧是服务器24G内存基本占满的时候(随着测试的进行mongodb不断占据内存,一直到操作系统的内存全部占满),也就是说Mongodb的内存映射方式,使得数据全部在内存中的时候速度飞快,当部分数据需要换出到磁盘上之后,性能下降很厉害.

WebService性能测试

- - ImportNew
(本文也会在最下面通俗的介绍). 这里给一个站内大哥的讲解: http://www.cnblogs.com/Leo_wl/archive/2010/05/20/1740205.html. 简单点就是测试WebService的一个工具. 官网地址: http://www.soapui.org/. ps:官网是英语的,如果你英语不好的话可以使用谷歌浏览器或360极速浏览器,它可以自动把英文转换成中文.

大偏移量下Redis、MongoDB分页/排名性能比较

- - CSDN博客数据库推荐文章
题目其实并不太准确,因为数据库并不会提供 分页、排名等功能,提供的只是数据的存取,分页排名这些都是我们基于数据库的实用案例而已. 然而无论是 Redis还是 MongoDB,通常都有一些常规的做分页和排名的方法. 本文就通过一些测试数据来向大家介绍Redis和MongoDB(以及传统关系型数据库)在这方面的性能差别.

Redis 的性能幻想与残酷现实

- - mindwind
2011 年,当初选择 Redis 作为主要的内存数据存储,主要吸引我的是它提供多样的基础数据结构可以很方便的实现业务需求. 另一方面又比较担心它的性能是否足以支撑,毕竟当时 Redis 还属于比较新的开源产品. 但 Redis 官网宣称其是提供多数据结构的高性能存储,我们对其还是抱有幻想的. 要了解 Redis 的性能,我们先看看官方的基准性能测试数据,心里有个底.

高性能网站架构之缓存篇—Redis集群搭建

- - 开源软件 - ITeye博客
1.  Redis Cluster的架构图.          (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽..          (2)节点的fail是通过集群中超过半数的节点检测失效时才生效..          (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可.