分布式集群环境hadoop、hbase、zookeeper搭建（全）

标签： 分布 集群 环境 | 发表时间：2013-05-08 16:29 | 作者：jinnchang
出处：http://blog.csdn.net

1、环境说明

集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：

Hostname IP 新建用户 新建用户密码
Master 10.10.10.213 hadoop 123456
Slave1 10.10.10.214 hadoop 123456
Slave2 10.10.10.215 hadoop 123456

三个节点均使用centos 6.3系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。

2、准备工作

2.1、修改Hostname

为了集群能够正常稳定的运行，我们需要将每个节点的hostname分别配置为对应的Master、Slave1、Slave2。

（1）在Master服务器中执行以下命令：

hostname Master	//当前有效
vi /etc/sysconfig/network	//重启后生效
HOSTNAME=Master

（2）在Slave1服务器中执行以下命令：

hostname Slave1	//当前有效
vi /etc/sysconfig/network	//重启后生效
HOSTNAME=Slave1

（3）在Slave2服务器中执行以下命令：

hostname Slave2	//当前有效
vi /etc/sysconfig/network	//重启后生效
HOSTNAME=Slave2

2.2、添加Hosts映射关系

分别在三个节点下通过如下命令修改hosts映射关系：

vi /etc/hosts

添加内容如下：

Master	10.10.10.213
Slave1	10.10.10.214
Slave2	10.10.10.215

2.3、配置JDK环境

Hadoop集群必须依赖JDK环境，所以这里我们首先需要配置好JDK环境，同样为了管理，我们建议服务器中的节点JDK安装环境均在相同路径下。

2.3.1、解压安装包

拷贝jdk文件jdk-6u25-linux-x64.bin到/usr/lib/java文件目录（该目录可自行定义）下，解压安装包，如果文件权限被限制，可通过如下命令进行赋权限操作：

chmod u+w jdk-6u25-linux-x64.bin

2.3.2、修改环境配置信息

vi /etc/profile

在最后加上：

export JAVA_HOME=/usr/lib/java/jdk1.6.0_25
export PATH=$PATH:$JAVA_HOME/bin 
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

通过注销或者以下命令使修改生效：

source /etc/profile

2.3.3、检查当前JDK版本信息

java -version

2.3.4、补充（可选）

如果查看当前的JDK版本不是刚才设置的JDK版本，则可以进行默认JDK版本设置操作：

sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300   
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300   
sudo update-alternatives --config java（选择jdk1.6.0_25版本的序号就行）

2.4、安装SSH

Centos系统安装时默认可以选择安装SSH，ubuntu下可以通过如下命令进行安装（前提是必须联网）：

sudo apt-get install ssh
sudo apt-get install rsync

2.5、新建用户

为了hadoop集群的安全与方便管理，我们要另外新建用户，并设置密码，命令如下：

sudo adduser hadoop
sudo passwd hadoop

上述命令中，第一行命令新建了一个user为hadoop的用户，第二行命令是为这个hadoop用户设置密码，同样最好服务器之间均保持一致。

2.6、配置集群之间SSH无密码登陆

集群环境的使用必须通过ssh无密码登陆来执行，本机登陆本机必须无密码登陆，主机与从机之间必须可以双向无密码登陆，从机与从机之间无限制。以本次为例，比如Master与Slave1之间的无密码登陆设置步骤如下：

（1）进入Master服务器，进行无密码自登陆设置

ssh hadoop@Master	//登陆Master
ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa
cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys	//生成密钥
chmod 700 ~/.ssh && chmod 600 ~/.ssh/*	//设置权限

如果不知道是否配置成功，可通过如下命令进行验证：

ssh localhost
如果上述命令不需要输入密码则表示配置成功。

进入Slave1服务器，进行无密码自登陆设置，操作同上，只需将对应的Master改为Slave1即可，此处省略。

（2）进入Master服务器，设置Master->Slave1的无密码登陆

ssh hadoop@Master	//登陆Master
cat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys'
ssh hadoop@Slave1	//若此处不需要输入密码则配置成功

（3）进入Slave1服务器，设置Slave1->Master的无密码登陆

ssh hadoop@Slave1	//登陆Slave1
cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys'
ssh hadoop@Master	//若此处不需要输入密码则成功

以上便是Master与Slave1之间的双向无密码登陆配置。Master与Slave2之间的配置原理同上述基本一样，所以不再赘述。

3、Hadoop集群安装配置

3.1、修改hadoop配置文件

在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz，修改conf目录下的6个文件：

（1）core-site.xml 
<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://Master:9000</value>
	</property>
</configuration>
（2）hadoop-env.sh

在该文件中加上如下一行代码：

export JAVA_HOME=（你配置的jdk路径，比如：/usr/java/jdk1.6.0_25）

（3）hdfs-site.xml

<configuration>	
	<property>
		<name>dfs.name.dir</name>
		<value>/home/hadoop/temp/hadoop</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/home/hadoop/temp/hadoop</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.support.append</name>
		<value>true</value>
	</property>
</configuration>

（4）mapred-site.xml

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>Master:9001</value>
	</property>
	<property>
		<name>mapred.acls.enabled</name>
		<value>false</value>
	</property>
</configuration>

（5）Masters

Master

（6）Slaves

Slave1
Slave2

3.2、同步安装包

将解压修改后的hadoop-1.0.3文件夹分别拷贝到Master、Slave1、Slave2的相同hadoop安装路径下。

3.3、启动Hadoop集群

进入Master的hadoop-1.0.3目录，执行以下操作：

bin/hadoop namenode -format	//格式化namenode，第一次启动服务前执行的操作，以后不需要执行
bin/start-all.sh	 //启动hadoop
jps	//用jps命令能看到除jps外有5个进程

至此，hadoop集群配置过程结束。可通过浏览器地址http://10.10.10.213:50070 查看节点启用状态验证配置是否成功。

4、Zookeeper集群安装配置

4.1、修改zookeeper配置文件zoo.cfg

在centos系统下解压zookeeper安装包zookeeper-3.4.3.tar.gz ，进入到conf目录，将zoo_sample.cfg拷贝一份命名为zoo.cfg（Zookeeper 在启动时会找这个文件作为默认配置文件），打开该文件进行修改为以下格式（注意权限问题，如果最后配置有问题请检查过程中权限是否正确）。

dataDir=/home/hadoop/temp/zookeeper/data

server.0=10.10.10.213:2888:3888
server.1=10.10.10.214:2888:3888
server.2=10.10.10.215:2888:3888

4.2、新建目录、新建并编辑myid文件

（本次配置myid文件放在/home/hadoop/temp/zookeeper/data目录下）

mkdir /home/hadoop/temp/zookeeper/data	//dataDir目录
vi /home/hadoop/temp/zookeeper/data/myid

注意myid文件中的内容为：Master中为0，Slave1中为1，Slave2中为2，分别与zoo.cfg中对应起来。

4.3、同步安装包

将解压修改后的zookeeper-3.4.3文件夹分别拷贝到Master、Slave1、Slave2的相同zookeeper安装路径下。注意：myid文件的内容不是一样的，各服务器中分别是对应zoo.cfg中的设置。

4.4、启动zookeeper

Zookeeper的启动与hadoop不一样，需要每个节点都执行，分别进入3个节点的zookeeper-3.4.3目录，启动zookeeper：

bin/zkServer.sh start
注意：此时如果报错先不理会，继续在另两台服务器中执行相同操作。

4.5、检查zookeeper是否配置成功

待3台服务器均启动后，如果过程正确的话zookeeper应该已经自动选好leader，进入每台服务器的zookeeper-3.4.3目录，执行以下操作查看zookeeper启动状态：

bin/zkServer.sh status

如果出现以下代码表示安装成功了。

[java] view plaincopy
JMX enabled by default  
Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg  
Mode: follower	//或者有且只有一个leader

5、HBase集群安装配置

5.1、修改hbase配置文件

在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz，修改conf目录下的3个文件：

（1）hbase-env.sh

export JAVA_HOME=/usr/lib/java/jdk1.6.0_25	//JDK的安装目录
export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf	//hadoop的安装目录
export HBASE_MANAGES_ZK=true

（2）hbase-site.xml

<configuration>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://Master:9000/hbase</value>
	</property>  	
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.clientPort</name>
		<value>2181</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>Master</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/home/hadoop/temp/zookeeper</value>
	</property>
	<property>
		<name>dfs.support.append</name>
		<value>true</value>
	</property>
</configuration>

（3）regionservers

Slave1
Slave2

5.2、同步安装包

将解压修改后的hbase-0.94.1-security文件夹分别拷贝到Master、Slave1、Slave2的相同hbase安装路径下。

5.3、启动HBase

进入Master的hbase-0.94.1-security目录，执行以下操作：

bin/start-hbase.sh	//之后用jps查看是否所有进程都已启动

至此，hbase服务配置过程结束。可通过浏览器地址http://10.10.10.213:60010 查看hbase是否可用。

也可以执行以下命令，进入hbase shell进行验证。

6、结语

关于hadoop、zookeeper、hbase的启动与关闭顺序：启动时hadoop和zookeeper随意先后，但是hbase必须最后启动，关闭时hbase必须首先关闭，然后随意先后关闭hadoop、zookeeper。否则，会出现异常。

关于各软件的安装包可以去官网下载，不同版本的安装配置可能会有少许的变动，而且版本搭配如果不一样的话也可能出现问题，有问题就针对性地去查，这样学习才有进步。

作者：jinnchang 发表于2013-5-8 16:29:30 原文链接
阅读：44 评论：0 查看评论

相关 [分布 集群 环境] 推荐：

分布式集群环境hadoop、hbase、zookeeper搭建（全）

- - CSDN博客云计算推荐文章
集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：. 三个节点均使用centos 6.3系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构.

hadoop集群环境的配置

- - ITeye博客
  之前说过，我们的hadoop集群已经搭建起来了，只是具体的步骤还没来得及整理，幸好今天又把流程走了一遍，真的是不做不晓得，一做才发现自己原来什么都忘记得差不多了，在此记录一下搭建hadoop集群的步骤，便于需要的时候看看.   这个配环境的过程真的是比较困难的，我今天搞了一天终于把自己的机器作为datanode连接上了master机器，我还是年前搞过一遍的呢，所以这个还是需要耐心+细心的.

基于docker环境实现Elasticsearch 集群环境

- - 学习日志
最近搭建了es集群的时候，现在需要测试添加一个新的数据节点，项目是使用docker-compose命令来搭建的. 以下基于最新版本 es7.2.0进行. // docker-compose.yaml 集群配置文件. 集群配置了3个master节点，并同时作为数据节点使用，当节点未指定 node.master和node.data的时候，默认值为 true.

项目进阶 之 集群环境搭建（二）MySQL集群

- - CSDN博客推荐文章
        上次的博文中我们介绍了一下集群的相关概念，今天的博文我们介绍一下MySQL集群的相关内容.         MySQL群集技术在分布式系统中为MySQL数据提供了冗余特性，增强了安全性，使得单个MySQL服务器故障不会对系统产生巨大的负面效应，系统的稳定性得到保障.         MySQL群集需要有一组计算机，每台计算机的角色可能是不一样的.

BDRP分布式redis集群

- - 百度运维团队技术博客
BDRP（baidu distributed redis platform）是包含 twemproxy， redis，redis-sentinel等多个模块开发的分布式redis平台. bdrp已经在github上进行了开源， bdrp的github项目点这里. 目前redis集群架构主要有以下几个组件： twemproxy：redis的代理系统，可以选择多种数据分片算法 redis：集群的redis存储节点 sentinel：redis官方的集群高可用组件，可以监控redis主节点故障，并进行主备切换.

Hadoop集群安装&Hbase实验环境搭建

- - CSDN博客云计算推荐文章
1.安装ubuntu10.04操作系统. 安装成功后，系统也会有相应提示：. sudo vi /etc/inetd.conf并加入以下一行. sudo vi /etc/xinetd.conf并加入以下内容：. sudo vi /etc/xinetd.d/telnet并加入以下内容：. 重启机器或重启网络服务sudo /etc/init.d/xinetd restart.

MQTT简介Mosquitto桥接及集群环境搭建 - CSDN博客

- -
MQTT v5.0草案中文翻译：. 原创文章如转载，请注明出处（http://blog.csdn.net/hui6075/）. MQTT是IBM为物联网等环境定义的一套应用层即时通信协议，通过消息中间件，提供订阅/发布方式通过“主题”为不同设备之间的通信提供解耦. 类似的协议还有XMPP、COAP等，但MQTT协议由于信令种类少、控制信息少、信息承载率高，因而对设备的处理能力和网络环境要求比较低.

jmeter分布式环境搭建

- - 行业应用 - ITeye博客
1       准备机器. N作为从机，1台作为控制器. 注：从机作为虚拟用户发起机器. 1 关闭所有从机防火墙   ---从机. 2 所有的客户端应该都是在同一个子网中. 3 确保jMeter可以访问这个服务器 ---Ping   --客户端能访问服务器. 4 确保各个客户端的jMeter的版本都是一致的，不同版本的Jmeter可能不会协同工作.

亿级日增量的ES线上环境集群部署，上干货！

- -
在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同. 本文的最佳实践基于每天增量数亿+ 的线上环境. Elasticsearch 和 Lucene 都是 Java 语言编写，这意味着我们必须注意堆内存的设置. Elasticsearch 可用的堆越多，它可用于过滤器（filter）和其他缓存的内存也就越多，更进一步讲可以提高查询性能.

Nutch1.8+Hadoop1.2+Solr4.3分布式集群配置

- - 开源软件 - ITeye博客
Nutch 是一个开源Java 实现的搜索引擎. 它提供了我们运行自己的搜索引擎所需的全部工具. 当然在百度百科上这种方法在Nutch1.2之后，已经不再适合这样描述Nutch了，因为在1.2版本之后，Nutch专注的只是爬取数据，而全文检索的部分彻底的交给Lucene和Solr，ES来做了，当然因为他们都是近亲关系，所以Nutch抓取完后的数据，非常easy的就能生成全文索引.