(CentOS)hadoop环境搭建,及期间遇到的问题

标签: centos hadoop 环境 | 发表时间:2014-11-19 22:21 | 作者:a837199685
出处:http://blog.csdn.net

(一)hadoop集群搭建准备,准备3台机器

192.168.80.100  hadoop

192.168.80.101 datanode1

192.168.80.102 datanode2

首先安装jdk 到/usr/local/jdk(具体就不说了),然后配置文件/etc/profile,添加如下

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

然后输入$source /etc/profile立即生效$java -version验证一下就ok了。

(二)然后修改个机器的主机名和配置网络

$vi /etc/hosts
修改HOSTNAME=hadoop(datanode1,datanode2)
$source /etc/hosts

$vi /etc/sysconfig/network
添加三行
192.168.80.100 hadoop
192.168.80.101 datanode1
192.168.80.102 datanode2
$source /etc/sysconfig/network

(三)关闭防火墙

$service iptables stop
$chkconfgi iptables off(关闭自动启动)


(四)配置ssh免密码登陆


在各机器上执行
#ssh-keygen -b 1024 -t rsa 一路回车
在~/.ssh/生成文件id_rsa  id_rsa.pub
在namenode机器上执行:
#cd ~/.ssh/
#scp id_rsa.pub root@<各datanode的IP>:/home
在各datanode机器上执行:
#cd /home/
#cat id_rsa.pub >>/root/.ssh/authorized_keys

然后分别执行ssh datanode1.。。。。等等来验证是否成功

(五)安装hadoop

我们默认安装的地址是/usr/local/hadoop

然后配置环境

$vi /etc/profile
改成这样
export HADOOP_HOME_WARN_SUPPRESS=1(为了防止警告)
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH<strong>
</strong>
(六)修改hadoop配置文件

1.修改conf/hadoop-env.sh

export JAVA_HOME=/usr/local/java
export HADOOP_HEAPSIZE=1024
export HADOOP_PID_DIR=/usr/local/hadoop/pids
保存退出
2.配置conf/core-site.xml,增加以下内容
<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
</property>
3.配置conf/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.hosts.exclude</name>
  <value>/usr/local/hadoop/conf/excludes</value>
</property>

配置conf/mapred-site.xml

<property>
  <name>mapred.job.tracker</name>
  <value>hdfs://hadoop:9001/</value>
</property>

配置conf/masters
hadoop


配置conf/slaves

datanode1

datanode2

把hadoop0的hadoop目录、jdk目录、/etc/hosts、/etc/profile复制到datanode1,datanode2节点(注意:除了主机名字要在各自机器上改,其他的只需要复制过去就行了)

$scp <source> datanodeX:<distination>


(七)执行hadoop

第一次启动Hadoop,必须先格式化namenode
#cd $HADOOP_HOME /bin
#hadoop namenode –format


启动Hadoop
#cd $HADOOP_HOME/bin
#./start-all.sh
如果启动过程,报错safemode相关的Exception
执行命令
# hadoop dfsadmin -safemode leave(安全模式,我们关掉就可以了)
然后再启动Hadoop

停止Hadoop
cd $HADOOP_HOME/bin
#./stop-all.sh


运行wordocunt

hadoop fs -put README.txt /
hadoop jar hadoop-example.jar wordcount /README.txt /wordcountoutput
然后执行hadoop fs -lsr /

可以看到输出的文件在、wordcountoutput/part-r-0000下面

执行hadoop fs -text /wordcountoutput/part-r-0000查看

这就是我们统计的单词啦


遇到的问题:

可能会遇见datanode没有datanode进程,我们可以先进入datanode的log文件查看。可以发现是因为namespaceID 不一致,

解决:删掉tmp下面的文件,然后重新format就行了

分别运行jps命令

可以看到


datanode:


就代表成功了,也可以在浏览器输入hadoop:50070查看

搞了大半天,终于算是搞定了



转载请注明http://blog.csdn.net/a837199685



作者:a837199685 发表于2014-11-19 22:21:01 原文链接
阅读:111 评论:0 查看评论

相关 [centos hadoop 环境] 推荐:

(CentOS)hadoop环境搭建,及期间遇到的问题

- - CSDN博客架构设计推荐文章
(一)hadoop集群搭建准备,准备3台机器. 首先安装jdk 到/usr/local/jdk(具体就不说了),然后配置文件/etc/profile,添加如下. 然后输入$source /etc/profile立即生效$java -version验证一下就ok了. (二)然后修改个机器的主机名和配置网络.

Hadoop环境搭建

- - 统计之都
Author:张丹(Conan). @晒粉丝 http://www.fens.me. @每日中国天气 http://apps.weibo.com/chinaweatherapp. RHadoop实践系列文章. RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析. Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现.

hadoop集群环境的配置

- - ITeye博客
  之前说过,我们的hadoop集群已经搭建起来了,只是具体的步骤还没来得及整理,幸好今天又把流程走了一遍,真的是不做不晓得,一做才发现自己原来什么都忘记得差不多了,在此记录一下搭建hadoop集群的步骤,便于需要的时候看看.   这个配环境的过程真的是比较困难的,我今天搞了一天终于把自己的机器作为datanode连接上了master机器,我还是年前搞过一遍的呢,所以这个还是需要耐心+细心的.

基于Eclipse的Hadoop开发环境配置方法

- - CSDN博客推荐文章
(1)启动hadoop守护进程. 在Terminal中输入如下命令:. (2)在Eclipse上安装Hadoop插件. 找到hadoop的安装路径,我的是hadoop-0.20.2,将/home/wenqisun/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2- eclipse-plugin.jar拷贝到eclipse安装目录下的plugins里,我的是在/home/wenqisun/eclipse /plugins/下.

Hadoop集群安装&Hbase实验环境搭建

- - CSDN博客云计算推荐文章
1.安装ubuntu10.04操作系统. 安装成功后,系统也会有相应提示:. sudo vi /etc/inetd.conf并加入以下一行. sudo vi /etc/xinetd.conf并加入以下内容:. sudo vi /etc/xinetd.d/telnet并加入以下内容:. 重启机器或重启网络服务sudo /etc/init.d/xinetd restart.

分布式集群环境hadoop、hbase、zookeeper搭建(全)

- - CSDN博客云计算推荐文章
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:. 三个节点均使用centos 6.3系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构.

windows 7 with eclipse 下hadoop应用开发环境搭建

- - CSDN博客云计算推荐文章
最近开始着手高校云平台的搭建,前些天做了hadoop集群测试环境的安装与配置的经验分享, 这篇文章主要介绍win7 64位下 eclipse4.2 连接远程Redhat Linux 5下hadoop-1.2.0集群开发环境搭建. 1、window 7 64位. 三、安装配置hadoop集群. 四、在Eclipse下安装配置hadoop插件.

hadoop环境配置过程中可能遇到问题的解决方案

- - CSDN博客架构设计推荐文章
遇到此问题一般是jar包冲突的问题. 一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突. 解决方案就是删除我们自己向系统添加的jar包,重新配置. 将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便,但是这不是一种好习惯,我们应该通过修改CLASSPATH的方式指定jar包路径.

自学大数据:用以生产环境的Hadoop版本比较

- - CSDN博客云计算推荐文章
生产环境中,hadoop的版本选择是一个公司架构之时,很重要的一个考虑因素. 这篇文章根据就谈谈现在主流的hadoop版本的比较. 如果有不同意见,或者指正,希望大家能交流. Apache Hadoop:Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架.

CentOS配置RPMForge源

- - 启光博客
  之前以发过一篇Linux安装配置网易的第三方源的文章,不过网易源与CentOS自带的官方源中的软件有时候还是感觉不够多,特别是桌面版用户应该深有体会,这个时候你就需要RPMForge,RPMForge被CentOS社区认为是最安全也是最稳定的一个软件仓库,拥有10000多种的软件包.   呵呵,好像有点给RPMForge做广告的感觉.