Hadoop集群(三节点)安装与部署

标签: hadoop 集群 节点 | 发表时间:2013-03-03 12:37 | 作者:my2005lb
出处:http://blog.csdn.net

 

1.2.1 环境准备

环境由三台服务器组成,分别为目录节点,内容节点,服务器列表如下所示:

表1  主机环境准备

IP

机器名称

10.0.0.201

m1.hadoop

10.0.0.209

s1.hadoop

10.0.0.211

s2.hadoop

下面列出各主机配置信息:

主机:m1.hadoop

[hadoop@m1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

NM_CONTROLLED="yes"

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=none

IPADDR=10.0.0.201

PREFIX=24

GATEWAY=10.0.0.254

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

HWADDR=10:50:56:AF:00:CF

[hadoop@m1 .ssh]$ cat /etc/hosts

10.0.0.201   m1.hadoop

10.0.0.209   s1.hadoop

10.0.0.211   s2.hadoop

127.0.0.1       localhost.localdomain   localhost

 [hadoop@m1 .ssh]$ cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=m1.hadoop

FORWARD_IPV4=yes

 

主机:s1.hadoop

[hadoop@s1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

NM_CONTROLLED="yes"

ONBOOT=yes

HWADDR=10:50:56:AF:00:D4

TYPE=Ethernet

BOOTPROTO=none

IPADDR=10.0.0.209

PREFIX=24

GATEWAY=10.0.0.254

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

 [hadoop@s1 .ssh]$ cat /etc/hosts

10.0.0.209   s1.hadoop

10.0.0.201   m1.hadoop

10.0.0.211   s2.hadoop

127.0.0.1   localhost.localdomain    localhost

 [hadoop@s1 .ssh]$ cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=s1.hadoop

主机:s2.hadoop

[hadoop@s2 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

NM_CONTROLLED="yes"

ONBOOT=yes

HWADDR=01:50:56:AF:00:D7

TYPE=Ethernet

BOOTPROTO=none

IPADDR=10.0.0.211

PREFIX=24

GATEWAY=10.0.0.254

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

 [hadoop@s2 .ssh]$ cat /etc/hosts

10.0.0.211   s2.hadoop

10.0.0.201   m1.hadoop

10.0.0.209   s1.hadoop

127.0.0.1   localhost.localdomain    localhost

[hadoop@s2 .ssh]$ cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=s2.hadoop

 

1.2.2 Java多机安装

将下载到后java文件传至各主机/home目录中,下面可以进行对其进行安装:

[root@s1 home]# chmod u+x jdk-6u25-linux-x64-rpm.bin

[root@s1 home]# ./jdk-6u25-linux-x64-rpm.bin

 

1.2.3 SSH配置

在每台机器上创建hadoop帐户,在每台机器生成hadoop的的公私钥对,分别将上述公钥对写入到authorized_keys文件之中,将authorized_keys分别分发至各个主机~/.ssh/目录之中即可。

具体设置过程如下所示:

S1.hadoop主机:

[root@ s1 .ssh]# useradd hadoop  #创建帐号

[root@ s1 .ssh]# passwd hadoop  #配置密码

[root@ s1 .ssh 5]# su hadoop 

[hadoop@s1 .ssh]$ssh-keygen

[hadoop@s1 .ssh]$chmod 700 ~/.ssh/

[hadoop@m1 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@m1 .ssh]$ chmod 600 authorized_keys

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@s2.hadoop:/home/hadoop/.ssh/

s2.hadoop主机:

[root@ s2 .ssh]# useradd hadoop  #创建帐号

[root@ s2 .ssh]# passwd hadoop  #配置密码

[root@ s2 .ssh 5]# su hadoop 

[hadoop@s2 .ssh]$ssh-keygen

[hadoop@s2 .ssh]$chmod 700 ~/.ssh/

[hadoop@m2 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@m1.hadoop:/home/hadoop/.ssh/

m1.hadoop主机:

[root@ s1 .ssh]# useradd hadoop  #创建帐号

[root@ s1 .ssh]# passwd hadoop  #配置密码

[root@ s1 .ssh 5]# su hadoop 

[hadoop@s1 .ssh]$ssh-keygen

[hadoop@s1 .ssh]$chmod 700 ~/.ssh/

[hadoop@m1 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@s1.hadoop:/home/hadoop/.ssh/

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@s2.hadoop:/home/hadoop/.ssh/

 

1.2.4 Hadoop多机安装

Hadoop安装与配置过程见1.1.4节,先在m1.hadoop主机配置hadoop,安装hadoop、配置访问权限、配置环境变量:

具体操作过程(m1.hadoop):

[root@m1 home]# tar xzvf hadoop-0.20.2.tar.gz

[root@ m1home]# mv hadoop-0.20.2 /usr/local

[root@ m1home]# cd /usr/local

[root@ m1local]# ls

bin  etc  games  hadoop-0.20.2  include  lib  lib64  libexec  sbin  share  src

[root@ m1local]# mv hadoop-0.20.2/ hadoop

[root@ m1local]# mkdir hadoop/Data

[root@ m1local]# mkdir hadoop/Name

[root@ m1local]# mkdir hadoop/Tmp

[root@ m1local]# chmod 777 /var/local

[root@ m1local]# ls

bin  etc  games  hadoop  include  lib  lib64  libexec  sbin  share  src

[root@ m1local]# chown -R hadoop:hadoop /usr/local/hadoop/ #修改权限

[root@m1 conf]# vi core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

     <property>

         <name>fs.default.name</name>

         <value>hdfs://m1.hadoop:9000</value>

     </property>

      <property>

               <name>hadoop.tmp.dir</name>

                        <value>/usr/local/hadoop/Tmp</value>

                             </property>

 

</configuration>

[root@m1 conf]# vi hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

         <name>dfs.name.dir</name>

                  <value>/usr/local/hadoop/Name</value>

                       </property>

 

<property>

         <name>dfs.data.dir</name>

                  <value>/usr/local/hadoop/Data</value>

                       </property>

 

<property>

         <name>dfs.replication</name>

         <value>3</value>

     </property>

 

</configuration>

[root@m1 conf]# vi masters

m1.hadoop

[root@m1 conf]# vi slaves

m1.hadoop

s1.hadoop

s2.hadoop

[root@m1 conf]# vi mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

 <property>

         <name>mapred.job.tracker</name>

         <value>m1.hadoop:9001</value>

     </property>

 

</configuration>

[root@ m1local]# scp -r /usr/local/hadoop s1.hadoop:/usr/local/

[root@ m1local]# scp -r /usr/local/hadoop s2.hadoop:/usr/local/

 

(s1.hadoop):

[root@ s1local]# chmod 777 /var/local

(s2.hadoop):

[root@ s2local]# chmod 777 /var/local

 

1.2.5 Hadoop测试

[root@m1 conf]# jps

10209 Jps

9057 SecondaryNameNode

9542 SecondaryNameNode

7217 JobTracker

10087 TaskTracker

9450 DataNode

 


作者:my2005lb 发表于2013-3-3 20:37:46 原文链接
阅读:80 评论:0 查看评论

相关 [hadoop 集群 节点] 推荐:

Hadoop集群(三节点)安装与部署

- - CSDN博客云计算推荐文章
环境由三台服务器组成,分别为目录节点,内容节点,服务器列表如下所示:. 1.2.2 Java多机安装. 将下载到后java文件传至各主机/home目录中,下面可以进行对其进行安装:. 在每台机器上创建hadoop帐户,在每台机器生成hadoop的的公私钥对,分别将上述公钥对写入到authorized_keys文件之中,将authorized_keys分别分发至各个主机~/.ssh/目录之中即可.

Hadoop集群与Hadoop性能优化

- - 学着站在巨人的肩膀上
本文讲解一下Hadoop集群、Hadoop性能优化、Hadoop机架感知实现、Hadoop配置等,下面是有关这些命令的具体介绍. Hadoop性能优化:Hadoop机架感知实现及配置:分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群.

[hadoop] 搭建自己的hadoop集群

- - CSDN博客系统运维推荐文章
       a>  五台centos6.2虚拟机,配置主机名、IP地址、yum源、.        b>  准备所需要的软件包. 2> 配置我自己的hadoop 集群.       a>  修改5台机器的hosts文件.       b>  配置master无密码登录slave,在master01和master02上执行以下命令:   .

Hadoop添加节点datanode

- - 企业架构 - ITeye博客
1.部署hadoop 和普通的datanode一样. 安装jdk,ssh 2.修改host 和普通的datanode一样. 已有 0 人发表留言,猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

[hadoop] 基于Hadoop集群的HBase集群的配置

- - CSDN博客系统运维推荐文章
       a> 已经配置完成的Hadoop集群.        b> 所需要的软件包. 2>  单独安装的ZooKeeper集群,不基于HBase集群管理.        a> 在master01上解压zookeeper-3.4.4.tar.gz.        b> 修改Zookeeper的配置文件.

hadoop集群环境的配置

- - ITeye博客
  之前说过,我们的hadoop集群已经搭建起来了,只是具体的步骤还没来得及整理,幸好今天又把流程走了一遍,真的是不做不晓得,一做才发现自己原来什么都忘记得差不多了,在此记录一下搭建hadoop集群的步骤,便于需要的时候看看.   这个配环境的过程真的是比较困难的,我今天搞了一天终于把自己的机器作为datanode连接上了master机器,我还是年前搞过一遍的呢,所以这个还是需要耐心+细心的.

腾讯TDW:大型Hadoop集群应用

- - 服务器运维与网站架构|Linux运维|X研究
PS:TDW是腾讯最大的离线数据处理平台. 本文主要从需求、挑战、方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案. TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造.

Hadoop 添加数据节点(datanode)

- - CSDN博客云计算推荐文章
在hadoop集群中添加一个新增数据节点. 同样在其它各节点都添加新的server123服务器. ->在新节点上生成自己的密钥. ->把原集群中的密钥复制添加到新节点的密钥当中. ->再把新节点上的新密钥复制(覆盖)到原集群中的新节点. --首先,为了避免误操作,操作之前要先备份原集群的密钥文件. 2014年 02月 12日 星期三 11:31:08 CST.

[原]Hadoop,HBase添加和删除节点

- - long1657的专栏
Hadoop添加和删除节点. (一)添加节点有两种方式,一种是静态添加,关闭hadoop集群,配置相应配置,重启集群(这个就不再重述了). (二)动态添加,在不重启集群的情况下添加节点. 1.设置新datanode与namenode的SSH无密码登陆. 2.在hosts添加主机名称,并且把该文件复制到集群中的其他节点上.

【重要】hadoop集群默认配置和常用配置

- - 学着站在巨人的肩膀上
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效. 浏览更多的配置,有两个方法:. 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群.