Zookeeper集群搭建

标签: zookeeper 集群 | 发表时间:2015-09-20 12:44 | 作者:Ronbay
出处:http://www.iteye.com

Zookeeper

1. 为什么要使用zookeeper
(1) 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)
(2) 目前,大部分应用需要开发私有的协调程序,缺乏一个通用机制
(3) 协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器
(4) ZooKeeper:提供通用版的分布式锁服务,用以协调分布式应

2 .Zookeeper能帮我们做些什么?

 

(1)  Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等。

 

(2) HBase,使用Zookeeper的事件处理确保这个集群整个只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等

 

3.  Zookeeper的特性

(1) Zookeeper是简单的

(2) Zookeeper是富有表现力的

(3) Zookeeper具有高可用性

(4) Zookeeper采用松耦合交互方式

(5) Zookeeper是一个资源库

4.Zookeeper的集群配置

Zookeeper集群配置非常简单,在zookeeper-3.4.5/conf文件夹下面有zoo_sample.cfg修改为zoo.cfg,配置如下

 

tickTime=2000

dataDir=/home/hadoop/storage/zookeeper

clientPort=2181

initLimit=5

syncLimit=2

server.1=nameNode:2888:3888

server.2=dataNode01:2888:3888

server.3=dataNode02:2888:3888

 

*在/etc/hosts文件里面添加

  

192.168.122.130 nameNode

192.168.122.128 dataNode01

192.168.122.129 dataNode02

 

再分别启动各个机器的zookeeper,再到zookeeper-3.4.5/bin启动zookeeper
./zkServer.sh start
会看到以下提示



 

说明启动成功,再查看状态

./zkServer.sh status

看到以下提示


或者以下提示



 

来说明此机器是主(leader)服务还是从(follwer)服务器

 

 

   



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [zookeeper 集群] 推荐:

Zookeeper集群搭建

- - 互联网 - ITeye博客
1. 为什么要使用zookeeper. (1) 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等). (2) 目前,大部分应用需要开发私有的协调程序,缺乏一个通用机制. (3) 协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器. (4) ZooKeeper:提供通用版的分布式锁服务,用以协调分布式应.

solrCloud+tomcat+zookeeper集群配置

- - 研发管理 - ITeye博客
     SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心.    上面也说了  SolrCloud是基于Solr和Zookeeper的分布式搜索方案,所有要部署solrCloud+tomcat+zookeeper的集群,必须先安装zookeeper.

使用zookeeper管理多个hbase集群

- d0ngd0ng - 蓝色时分
    zookeeper是hbase集群的"协调器". 由于zookeeper的轻量级特性,因此我们可以将多个hbase集群共用一个zookeeper集群,以节约大量的服务器. 多个hbase集群共用zookeeper集群的方法是使用同一组ip,修改不同hbase集群的"zookeeper.znode.parent"属性,让它们使用不同的根目录.

在 python 中使用 zookeeper 管理你的应用集群

- Ken - python.cn(jobs, news)
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等. python中有一个zkpython的包,是基于zookeeper的c-client开发的,所以安装的时候需要先安装zookeeper的c客户端.

分布式集群环境hadoop、hbase、zookeeper搭建(全)

- - CSDN博客云计算推荐文章
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:. 三个节点均使用centos 6.3系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构.

zookeeper( 转)

- - 企业架构 - ITeye博客
转自:http://qindongliang.iteye.com/category/299318. 分布式助手Zookeeper(一). Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10月升级成Apache Software .

ZooKeeper监控

- - 淘宝网通用产品团队博客
        在公司内部,有不少应用已经强依赖zookeeper,比如meta和精卫系统,zookeeper的工作状态直接影响它们的正常工作. 目前开源世界中暂没有一个比较成熟的zk-monitor,公司内部的各个zookeeper运行也都是无监控,无报表状态. 目前zookeeper-monitor能做哪些事情,讲到这个,首先来看看哪些因素对zookeeper正常工作比较大的影响:.

zookeeper原理

- - CSDN博客云计算推荐文章
1.为了解决分布式事务性一致的问题. 2.文件系统也是一个树形的文件系统,但比linux系统简单,不区分文件和文件夹,所有的文件统一称为znode. 3.znode的作用:存放数据,但上限是1M ;存放ACL(access control list)访问控制列表,每个znode被创建的时候,都会带有一个ACL,身份验证方式有三种:digest(用户名密码验证),host(主机名验证),ip(ip验证) ,ACL到底有哪些权限呢.

Zookeeper Client简介

- - zzm
直接使用zk的api实现业务功能比较繁琐. 因为要处理session loss,session expire等异常,在发生这些异常后进行重连. 又因为ZK的watcher是一次性的,如果要基于wather实现发布/订阅模式,还要自己包装一下,将一次性订阅包装成持久订阅. 另外如果要使用抽象级别更高的功能,比如分布式锁,leader选举等,还要自己额外做很多事情.

zookeeper 理论

- - zzm
引用官方的说法:“Zookeeper是一个高性能,分布式的,开源分布式应用协调服务. 它提供了简单原始的功能,分布式应用可以基于它实现更高级 的服务,比如同步,配置管理,集群管理,名空间. 它被设计为易于编程,使用文件系统目录树作为数据模型. 服务端跑在java上,提供java和C的客户端 API”.