CentOS7-64bit 编译 Hadoop-2.5.0，并分布式安装

标签： centos7 64bit 编译 | 发表时间：2014-12-08 11:08 | 作者：ssydxa219
出处：http://www.iteye.com
  • 1.系统环境说明
  • 2.安装前的准备工作
  • 2.1 关闭防火墙
  • 2.2 检查ssh安装情况，如果没有则安装ssh
  • 2.3 安装vim
  • 2.4 设置静态ip地址
  • 2.5 修改host名称
  • 2.6 创建hadoop用户
  • 2.7 配置ssh无密钥登录
  • 3.安装必须的软件
  • 3.1 安装JDK
  • ##################################### [100%]
  • ##################################### [100%]
  • 3.2 安装其他必须软件
  • 3.3 安装ant
  • 3.4 安装findbugs
  • 3.5 安装protobuf
  • 4. 编译hadoop源码
  • 4.1 maven中央仓库的配置(改成oschina,增加访问速度)
  • 4.2 编译完成之后,目录/usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0
  • 5. 配置hadoop
  • 5.1 基础操作
  • 5.2 配置所有slave节点
  • 5.3 修改hadoop-env.sh和yarn-env.sh
  • 5.4 修改core-site.xml
  • 5.5 修改hdfs-site.xml
  • 5.6 修改mapred-site.xml
  • 5.7 配置yarn-site.xml
  • 5.8 格式化namenode
  • 5.9 启动hdfs
  • 5.10 检查启动情况

 

1.系统环境说明

CentOS 7.0 x64 版本

192.168.3.7 master
192.168.3.8 slave
192.168.3.9 slave
192.168.3.10 slave

 

2.安装前的准备工作

 

2.1 关闭防火墙 

# systemctl status firewalld.service  --查看防火墙状态
# systemctl stop firewalld.service    --关闭防火墙
# systemctl disable firewalld.service --永久关闭防火墙

 

2.2 检查ssh安装情况，如果没有则安装ssh

# systemctl status sshd.service  --查看ssh状态
# yum install openssh-server openssh-clients

 

2.3 安装vim

# yum -y install vim

 

2.4 设置静态ip地址

# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

BOOTPROTO="static"
ONBOOT="yes"
IPADDR0="192.168.3.7"
PREFIX0="255.255.255.0"
GATEWAY0="192.168.3.1"
DNS1="61.147.37.1"
DNS2="101.226.4.6"

DNS2="202.101.172.35"

 

2.5 修改host名称

# vim /etc/sysconfig/network

HOSTNAME=master

# vim /etc/hosts
192.168.3.7   master
192.168.3.8   slave1
192.168.3.9   slave2
192.168.3.10  slave3
# hostnamectl set-hostname master    (CentOS7 下原有的修改host方法无效了)

 

2.6 创建hadoop用户

# useradd hadoop --创建用户名为hadoop的用户# passwd hadoop  --为用户hadoop设置密码

 

2.7 配置ssh无密钥登录

———–下面是在master上面的操作

# su hadoop --切换到hadoop用户$ cd ~      --打开用户文件夹
$ ssh-keygen -t rsa -P '' --生成密码对，/home/hadoop/.ssh/id_rsa和/home/hadoop/.ssh/id_rsa.pub
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys        --把id_rsa.pub追加到授权的key里面去
$ chmod 600 ~/.ssh/authorized_keys        --修改权限
$ su  --切换到root用户# vim /etc/ssh/sshd_config   --修改ssh配置文件
 RSAAuthentication yes #启用RSA认证
 PubkeyAuthentication yes #启用公钥私钥配对认证方式
 AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径
# su hadoop --切换到hadoop用户
$ scp ~/.ssh/id_rsa.pub [email protected]:~/                --把公钥复制所有的Slave机器上

———-下面是在slave1上面的操作

 # su hadoop --切换到hadoop用户
 $ mkdir ~/.ssh
 $ chmod 700 ~/.ssh
 $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys                --追加到授权文件"authorized_keys"
 $ chmod 600 ~/.ssh/authorized_keys                          --修改权限
 $ su --切换回root用户 # vim /etc/ssh/sshd_config   --修改ssh配置文件
  RSAAuthentication yes #启用RSA认证
  PubkeyAuthentication yes #启用公钥私钥配对认证方式
  AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径

 

3.安装必须的软件

 

3.1 安装JDK

# rpm -ivh jdk1.8.0_20-linux-x64.rpm

Preparing…

 

  ##################################### [100%]

1:jdk

 

  ##################################### [100%]

Unpacking JAR files…
rt.jar…
jsse.jar…
charsets.jar…
tools.jar…
localedata.jar…

# vim /etc/profile
 export JAVA_HOME=/usr/java/jdk1.8.0_20
 export PATH=$PATH:$JAVA_HOME/bin
# source profile --修改生效

 

3.2 安装其他必须软件

# yum install maven svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

 

3.3 安装ant

# tar zxvf apache-ant-1.9.4-bin.tar.gz# vim /etc/profile
 export ANT_HOME=/usr/local/apache-ant-1.9.4
 export PATH=$PATH:$ANT_HOME/bin

 

3.4 安装findbugs

# tar zxvf findbugs-3.0.0.tar.gz# vim /etc/profile
 export FINDBUGS_HOME=/usr/local/findbugs-3.0.0
 export PATH=$PATH:$FINDBUGS_HOME/bin

 

3.5 安装protobuf

# tar zxvf protobuf-2.5.0.tar.gz(必须是2.5.0版本的，不然编译hadoop的时候报错)
# cd protobuf-2.5.0
# ./configure --prefix=/usr/local
# make && make install

 

4. 编译hadoop源码

# tar zxvf hadoop-2.5.0-src.tar.gz
# cd hadoop-2.5.0-src
# mvn package -Pdist,native,docs -DskipTests -Dtar

 

4.1 maven中央仓库的配置(改成oschina,增加访问速度)

# vim /usr/share/mavem/conf/settings.xml<mirrors>
    <mirror>
        <id>nexus-osc</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus osc</name>
        <url>http://maven.oschina.net/content/groups/public/</url>
    </mirror></mirrors><profiles>
    <profile>
    <id>jdk17</id>
    <activation>
        <activeByDefault>true</activeByDefault>
        <jdk>1.7</jdk>
    </activation>
    <properties>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
        <maven.compiler.compilerVersion>1.7</maven.compiler.compilerVersion>
    </properties>    
        <repositories>
           <repository>
                <id>nexus</id>
                <name>local private nexus</name>
                <url>http://maven.oschina.net/content/groups/public/</url>
                <releases>
                    <enabled>true</enabled>
                </releases>
                <snapshots>
                    <enabled>false</enabled>
                </snapshots>
            </repository>
         </repositories>
        <pluginRepositories>
            <pluginRepository>
                <id>nexus</id>
                <name>local private nexus</name>
                <url>http://maven.oschina.net/content/groups/public/</url>
                <releases>
                    <enabled>true</enabled>
                </releases>
                <snapshots>
                    <enabled>false</enabled>
                </snapshots>
            </pluginRepository>
         </pluginRepositories>
    </profile></profiles>

 

4.2 编译完成之后,目录/usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0

# ./bin/hadoop versionHadoop 2.5.0Subversion Unknown -r Unknown
Compiled by root on 2014-09-12T00:47Z
Compiled with protoc 2.5.0From source with checksum 423dcd5a752eddd8e45ead6fd5ff9a24
This command was run using /usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/share/hadoop/common/hadoop-common-2.5.0.jar
# file lib//native/*lib//native/libhadoop.a:        
current ar archivelib//native/libhadooppipes.a:   
current ar archivelib//native/libhadoop.so:       
symbolic link to `libhadoop.so.1.0.0'lib//native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x972b31264a1ce87a12cfbcc331c8355e32d0e774, not strippedlib//native/libhadooputils.a:   
current ar archivelib//native/libhdfs.a:          
current ar archivelib//native/libhdfs.so:         
symbolic link to `libhdfs.so.0.0.0'lib//native/libhdfs.so.0.0.0:   ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x200ccf97f44d838239db3347ad5ade435b472cfa, not stripped

 

5. 配置hadoop

 

5.1 基础操作

# cp -r /usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0 /opt/hadoop-2.5.0
# chown -R hadoop:hadoop /opt/hadoop-2.5.0
# vi /etc/profile
 export HADOOP_HOME=/opt/hadoop-2.5.0
 export PATH=$PATH:$HADOOP_HOME/bin
# su hadoop
$ cd /opt/hadoop-2.5.0
$ mkdir -p dfs/name
$ mkdir -p dfs/data
$ mkdir -p tmp
$ cd etc/hadoop

 

5.2 配置所有slave节点

$ vim slaves
slave1
slave2
slave3

 

5.3 修改hadoop-env.sh和yarn-env.sh

$ vim hadoop-env.sh / vim yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_67

 

5.4 修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop-2.5.0/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value> </value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value></value>
</property>
</configuration>

 

5.5 修改hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.5.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.5.0/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

 

5.6 修改mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

 

5.7 配置yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
</configuration>

 

5.8 格式化namenode

$ ./bin/hdfs namenode -format

 

5.9 启动hdfs

$ ./sbin/start-dfs.sh
$ ./sbin/start-yarn.sh

 

5.10 检查启动情况

http://192.168.3.7:8088http://192.168.3.7:50070


已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐



相关 [centos7 64bit 编译] 推荐：

CentOS7-64bit 编译 Hadoop-2.5.0，并分布式安装

- - 企业架构 - ITeye博客
2.2 检查ssh安装情况，如果没有则安装ssh. 4.1 maven中央仓库的配置(改成oschina,增加访问速度). 4.2 编译完成之后,目录/usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0. 5.2 配置所有slave节点. 5.3 修改hadoop-env.sh和yarn-env.sh.

CentOS7 安装 K8S

- - 企业架构 - ITeye博客
前提：VirtualBox CentOS7. 物理机IP   192.168.18.8. 虚拟机1IP：192.168.18.100（VMaster master）. 虚拟机2IP：192.168.18.101(VServer1 node1). 虚拟机3IP：192.168.18.102(VServer2 node2).

centos7作为web服务器优化

- - 操作系统 - ITeye博客
centos7作为web服务器优化. 1、关闭firewalld：. systemctl stop firewalld.service #停止firewall. systemctl disable firewalld.service #禁止firewall开机启动. 2、安装iptables防火墙.

CentOS7服务器基本安全防护篇

- - 企业架构 - ITeye博客
这个只是个人笔记，方便日后查阅，若有错误，欢迎同行帮忙纠正. 1.最近买的腾讯云和阿里云服务器均受到攻击，以前不懂这方面，所以也没在意. 接着便着手了解这方面的知识，经过网上查阅和向同行请教，现在基本上对服务器的基本防护算是入门了. 1.通过查看项目里面的日志  cat catalina.out:.

centos7使用lldb调试netcore应用转储dump文件 - czd890 - 博客园

- -
centos7下安装lldb，dotnet netcore 进程生成转储文件，并使用lldb进行分析. 随着netcore应用在linux上部署的应用越来越多，碰到cpu 100%，内存暴涨的情况也一直偶有发生，在windows平台下进程管理器右键转储，下载到本地使用windbg或者直接vs分析都比较方便.

mysql高可用架构MHA搭建（centos7+mysql5.7.28） - 七星6609 - 博客园

- -
无论是传统行业，还是互联网行业，数据可用性都是至关重要的，虽然现在已经步入大数据时代，nosql比较流行，但是作为数据持久化及事务性的关系型数据库依然是项目首选，比如mysql. 现在几乎所有的公司项目，不说可用性必须达到5个9，至少也要要求，数据库出现问题，不能丢失数据，能够快速响应异常处理，下面使用mha来搭建mysql高可用集群(基于centos7+mysql5.7)：.

certbot在Centos7上配置合法签名证书，实现nginx的https访问-咖啡猫Mr-51CTO博客

- -
  公司因之前使用的openssh创建的自签名证书，有一个弊端，就是在某些客户端上不能使用此证书，无法使用https连接，所以，研究了一下certbot 做签名证书. 你需要有一个公网地址，并绑定合法域名. (1)、下载Certbot客户端：. （2）、下载后，进入下载的目录，添加执行权限. 3、介绍一下certbot的两种工作方式：.

android apk反编译

- - CSDN博客推荐文章
3.查看Jar包的GUI工具. apk文件其实就是一个MIME为zip的压缩包，可以用winrar软件打开看到里面的文件结构. 解压缩后找到里面的classes.dex文件，classes.dex文件就是java文件编译再通过Dalvik须立即提供的dx打包工具打包而成的，接下来就用2个工具来逆向导出java源文件.

java编译原理

- - 编程语言 - ITeye博客
1． 关于动态加载机制 . 学习Java比C++更容易理解OOP的思想，毕竟C++还混合了不少面向过程的成分. 很多人都能背出来Java语言的特点，所谓的动态加载机制等等. 当然概念往往是先记住而后消化的，可有多少人真正去体会过动态加载的机制，试图去寻找过其中的细节呢? 提供大家一个方法： 在命令行窗口运行Java程序的时候，加上这个很有用的参数： java verbose *.class .

Ubuntu 编译 Linux 3.0-rc4

- zyhong17 - Wow! Ubuntu
Linux 内核经过漫长的 2.6 版本之后终于主版本+1了，现在已放出 3.0 RC4 版，最近又有消息称 3.0 会比 2.6.39 快，喜欢折腾的你又不介意当小白鼠的话不妨试试下载 Linux Kernel 3.0 的源代码自己编译. 下面简单讲一下在 Ubuntu 10.10 编译 Linux Kernel 3.0 RC4 的过程.