Redis 构建高性能的实时搜索 . 笔记 #知识梳理#

标签： redis 性能 实时 | 发表时间：2012-02-06 14:27 | 作者：张沈鹏
出处：http://zuroc.42qu.com/rss
  
   http://42qu.us/oHwG
   http://42qu.us/oHwH
Rails App 运用 Redis 构建高性能的实时搜索 (    http://42qu.us/oHwI 的解决方案 )
  
Auto Complete with Redis
   http://42qu.us/oHwJ
  
阅读笔记(仅供自己备忘)
  
1 . 索引前缀 , 存放id, 按照rank排序 (对于标签)
  
Every time an user enters a query, like "news", we compute all the prefixes: "n", "ne", "new", "news". We use every prefix as the key name for a sorted set, executing the a ZINCRBY <prefix> 1 news for each key.
  
In order to complete a given prefix, we just need to perform a ZRANGE <prefix> 0 4, to show the first 5 items.
  
2 . 索引词 - id list
  
3 . 查找前缀 , 如果前缀找不到 , 那么就查找词
  
4 . 如果有空格 或者 找不到 分词 然后再处理
  
5 . 取得多个 id list 按照分数做合并
  
6 . 通过id list和hash取实体
  
7 . 不同类型用不同的key 比如 ask:news ; tag:news ; ...

相关 [redis 性能 实时] 推荐：

Redis 构建高性能的实时搜索 . 笔记 #知识梳理#

- - 张沈鹏 zuroc.42qu.com
http://42qu.us/oHwH Rails App 运用 Redis 构建高性能的实时搜索 (. http://42qu.us/oHwI 的解决方案 ). 索引前缀 , 存放id, 按照rank排序 (对于标签). We use every prefix as the key name for a sorted set, executing the a ZINCRBY 1 news for each key..

redis 性能问题查找

- - 开源软件 - ITeye博客
          使用redis作为数据库时，系统出现少量超时，通过日志信息发现，超时发生在bgsave时. bgsave命令会fork一个子进程，子进程会将redis数据库信息dump到rdb文件中. 因此不能确定使用bgsave命令时，是fork一个子进程引起超时，还是dump文件时与主进程的sync同步同时写磁盘引起的超时.

Redis性能调优 - 简书

- -
尽管Redis是一个非常快速的内存数据存储媒介，也并不代表Redis不会产生性能问题. 前文中提到过，Redis采用单线程模型，所有的命令都是由一个线程串行执行的，所以当某个命令执行耗时较长时，会拖慢其后的所有命令，这使得Redis对每个任务的执行效率更加敏感. 针对Redis的性能优化，主要从下面几个层面入手：.

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

- - lxw的大数据田地
本文想记录和表达的东西挺多的，一时想不到什么好的标题，所以就用上面的关键字作为标题了. 在实时流式计算中，最重要的是在任何情况下，消息不重复、不丢失，即Exactly-once. 本文以Kafka–>Spark Streaming–>Redis为例，一方面说明一下如何做到Exactly-once，另一方面说明一下我是如何计算实时去重指标的.

Redis性能调优：保存SNAPSHOT对性能的影响

- - CSDN博客系统运维推荐文章
前一段时间，开发环境反馈，Redis服务器访问非常慢，每个请求要数秒时间，重启之后2~3天又会这样. 我查看了一下Linux的性能，没有什么问题. 发现访问Redis确实很慢，执行info要几秒时间. 里面有个参数已连接的客户端几万个，通过. 查看到很多client的age都很大，一直没有释放. 于是怀疑是不是和这个有关，因为版本是2.8.6，无法通过client一次性kill掉所有的连接，只能写一个程序，一个一个地kill掉(.

Kafka+Spark Streaming+Redis实时计算整合实践

- - 简单之美
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性. 这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算.

多种方式测试redis入库性能

- - The Big Data Way
结论：Pipeline + Transaction方式是几种插入方式中性能最好的. 虽然有点意外，但测试多次仍然是这个结论. private long rowCount = 1000000; // 100万. 已有 0 人发表留言，猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

大偏移量下Redis、MongoDB分页/排名性能比较

- - CSDN博客数据库推荐文章
题目其实并不太准确，因为数据库并不会提供 分页、排名等功能，提供的只是数据的存取，分页排名这些都是我们基于数据库的实用案例而已. 然而无论是 Redis还是 MongoDB，通常都有一些常规的做分页和排名的方法. 本文就通过一些测试数据来向大家介绍Redis和MongoDB（以及传统关系型数据库）在这方面的性能差别.

Redis 的性能幻想与残酷现实

- - mindwind
2011 年，当初选择 Redis 作为主要的内存数据存储，主要吸引我的是它提供多样的基础数据结构可以很方便的实现业务需求. 另一方面又比较担心它的性能是否足以支撑，毕竟当时 Redis 还属于比较新的开源产品. 但 Redis 官网宣称其是提供多数据结构的高性能存储，我们对其还是抱有幻想的. 要了解 Redis 的性能，我们先看看官方的基准性能测试数据，心里有个底.

高性能网站架构之缓存篇—Redis集群搭建

- - 开源软件 - ITeye博客
1.  Redis Cluster的架构图.          (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽..          (2)节点的fail是通过集群中超过半数的节点检测失效时才生效..          (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可.