高性能网站架构之缓存篇—Redis集群搭建

标签: 性能 网站 架构 | 发表时间:2016-12-17 19:03 | 作者:jaesonchen
出处:http://www.iteye.com

1.  Redis Cluster的架构图。          

         (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

         (2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

         (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

         (4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护

Redis 集群中内置了 16384 个哈希槽,当需要在Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

2.  redis-cluster投票:容错

          

         (1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.

         (2):什么时候整个集群不可用(cluster_state:fail)?

         a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

        b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.

        ps:当集群不可用时,所有对集群的操作做都不可用,收到((error)CLUSTERDOWN The cluster is down)错误。

 

3.  安装环境

        Redis Cluster的安装需要的环境我们需要准备好,最重要的最难解决的就是ruby环境,在这里,给大家一个连接,如至直接安装ruby,安装不上的话,大家可以参考这篇文章 RubyGems镜像,淘宝的ruby镜像。他是没15分钟更新一次,所以跟国外的基本一样。

4.  集群搭建

        本次为实验教程,所以在一台虚拟机中进行搭建,跟在多台真机上搭建其实没有什么区别,只要保证网络通信ok就可以了!

        我们在几台机器上通过端口号的不同,搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示

主节点:127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003

从节点:127.0.0.1:7004127.0.0.1:7005127.0.0.1:7006

在/usr/local下创建redis-cluster目录,其下创建redis01、redis02。。redis06目录,如下:

        

         然后我们将redis 安装到redis01中,安装完以后我们在将Redis编译目录中的redis。Conf文件复制到redis01目录下,就会看到在redis01目录下会有如下的文件。

        

         然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

        修改每个文件夹下的配置文件,有三点需要修改,每个配置文件都要配置自己的端口号,不能重复。

        

        准备好以上工作以后,我们分别启动每个redis进行的实例。如果麻烦的话,可以自己写一个执行脚本。启动完毕以后我们输入命令ps ax|grep redis ,查看实例是否启动,出现如下所以图片,表示所有的实例都启动了。

       

       实例启动完以后,我们要开始创建集群,在redis-cluter文件夹下执行如下命令。

  1. ./redis-trib.rbcreate --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004127.0.0.1:7005 127.0.0.1:7006。
  2. >>> Creating cluster
  3. Connecting to node 127.0.0.1:7001: OK
  4. Connecting to node 127.0.0.1:7002: OK
  5. Connecting to node 127.0.0.1:7003: OK
  6. Connecting to node 127.0.0.1:7004: OK
  7. Connecting to node 127.0.0.1:7005: OK
  8. Connecting to node 127.0.0.1:7006: OK
  9. >>> Performing hash slotsallocation on 6 nodes...
  10. Using 3 masters:
  11. 127.0.0.1:7001
  12. 127.0.0.1:7002
  13. 127.0.0.1:7003
  14. Adding replica 127.0.0.1:7004 to 127.0.0.1:7001
  15. Adding replica 127.0.0.1:7005 to 127.0.0.1:7002
  16. Adding replica 127.0.0.1:7006 to 127.0.0.1:7003
  17. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001
  18. slots:0-5460 (5461 slots) master
  19. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002
  20. slots:5461-10922 (5462 slots) master
  21. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003
  22. slots:10923-16383 (5461 slots) master
  23. S: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004
  24. replicates 5a8523db7e12ca600dc82901ced06741b3010076
  25. S: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005
  26. replicates bf6f0929044db485dea9b565bb51e0c917d20a53
  27. S: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006
  28. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca
  29. Can I set the above configuration? (type'yes' to accept): yes
  30. >>> Nodes configuration updated
  31. >>> Assign a different configepoch to each node
  32. >>> Sending CLUSTER MEET messagesto join the cluster
  33. Waiting for the cluster to join.....
  34. >>> Performing Cluster Check(using node 127.0.0.1:7001)
  35. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001
  36. slots:0-5460 (5461 slots) master
  37. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002
  38. slots:5461-10922 (5462 slots) master
  39. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003
  40. slots:10923-16383 (5461 slots) master
  41. M: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004
  42. slots: (0 slots) master
  43. replicates 5a8523db7e12ca600dc82901ced06741b3010076
  44. M: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005
  45. slots: (0 slots) master
  46. replicates bf6f0929044db485dea9b565bb51e0c917d20a53
  47. M: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006
  48. slots: (0 slots) master
  49. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca
  50. [OK] All nodes agree about slotsconfiguration.
  51. >>> Check for open slots...
  52. >>> Check slots coverage...
  53. [OK] All 16384 slots covered.
复制代码

 

这样就表示我们的集群创建成功了!

5.  集群测试

        我们输入redis01/redis-cli -h 127.0.0.1  -p 7002–c命令后,切忌要加入-c,否则我们进入的不是集群环境。进入客户端以后,我们输入set a 100 发现他会进行跳转,这就是因为他经过计算以后,要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了!

        

         关闭redis集群不能直接kill掉进程,或者关机,我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭,这样在关闭之前,数据才能够进行保存。



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [性能 网站 架构] 推荐:

大型网站技术架构(四)--网站的高性能架构

- - CSDN博客架构设计推荐文章
大型网站技术架构(一)--大型网站架构演化. 大型网站技术架构(二)--架构模式. 大型网站技术架构(三)--架构核心要素. 网站性能是客观的指标,可以具体体现到响应时间、吞吐量、并发数、性能计数器等技术指标.       指应用执行一个操作需要的时间,指从发出请求到最后收到响应数据所需要的时间. 如下列出了系统常用的操作响应时间表..

从12306.cn谈大网站架构与性能优化

- - 服务器运维与网站架构|Linux运维|X研究
PS:关于12306.cn网站,前些时间,骂的人很多,但是这网站的压力和架构不是一般非专业人生想得这么简单. 下文是资深架构师陈皓写的关于12306.cn购票网站的架构和性能系列分析,个人认为很有参考价值,转载如下:. 12306.cn网站挂了,被全国人民骂了. 我这两天也在思考这个事,我想以这个事来粗略地和大家讨论一下网站性能的问题.

高性能网站架构之缓存篇—Redis集群搭建

- - 开源软件 - ITeye博客
1.  Redis Cluster的架构图.          (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽..          (2)节点的fail是通过集群中超过半数的节点检测失效时才生效..          (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可.

[转] 网站性能优化之-数据库及服务器架构...

- - 网站架构_搜搜博客搜索
  转载自: http://blog.163.com/dangzhengtao@yeah/blog/static/ 7780087420098232213289/?fromdm&fromSearch&isFromSea rchEngine=yes 1、Web Server 与 DB Server 分离.

一例千万级pv高性能高并发网站架构[原创]

- - 运维进行时
      受CU管理员的邀请参考“ 千万级pv高性能高并发网站架构与设计交流探讨帖”主题的交流,发表了一案例与大家分享.       一个支撑千万级PV的网站是非常考验一个架构是否成熟、健壮(本文不涉及软件架构的层面,有兴趣也可以讨论). 现抛出一个系统层面的架构,不保证是最优的方案,但也许适合你.

千万级pv高性能高并发网站架构与设计(转)

- - BlogJava-
高并发访问的核心原则其实就一句话“把所有的用户访问请求都尽量往前推”. 如果把来访用户比作来犯的"敌人",我们一定要把他们挡在800里地以外,即不能让他们的请求一下打到我们的指挥部(指挥部就是数据库及分布式存储). 如:能缓存在用户电脑本地的,就不要让他去访问CDN. 能缓存CDN服务器上的,就不要让CDN去访问源(静态服务器)了.

高性能网站架构之缓存篇—Redis集群增删节点

- - 开源软件 - ITeye博客
       首先我们要新建立一个节点,将redis01 复制一份改为redis07,然后修改端口号也改为7007 ,然后我们执行[root@localhost redis07]# ./redis-server redis.conf 启动以后,然后进行查看,发现有一个端口号为7007的redis实例已经启动了.

优化网站性能必备的6种架构方案,你知道吗?

- - IT瘾-geek
一个成熟的大型网站(如淘宝、天猫、腾讯等)的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的,它是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线. 所以成熟的系统架构是随着业务的扩展而逐步完善的,并不是一蹴而就;不同业务特征的系统,会有各自的侧重点,例如:淘宝,要解决海量的商品信息的搜索、下单、支付,例如腾讯,要解决数亿用户的实时消息传输,百度它要处理海量的搜索请求,他们都有各自的业务特性,系统架构也有所不同.

Facebook 网站架构

- - idea's blog
我收集到一些文章和视频, 可以带你窥探 Facebook 的架构. Facebook 承载了几十亿的用户, 它的架构(包括思想和实现)是非常值得参考的. 当然, 你要小心不要照搬 Facebook 的每一字一句, 因为任何思想和实现都是有自己的应用场景的.. Google Talk 界面开发分析. 使用Python POST任意的HTTP数据以及使用Cookie.

网站架构演进

- - CSDN博客互联网推荐文章
很多年前,世界上出了互联网这个东东,不久之后又出来了网站这个家伙. 那时的程序员还只是程序员,有的程序员Deid,But他依然live的. 不像现在,他虽然活着,但已经不仅仅是程序员那么简单了,因为他更喜欢用屌丝来形容自己. 网站的远古时代就好像我们的原始时代一个意思的. 作者:enson16855 发表于2013-7-8 22:43:36 原文链接.