Hadoop Namenode HA 合并到主干

标签： Hadoop&HBase hadoop Namenode | 发表时间：2012-03-06 13:36 | 作者：nosqlfan
出处：http://blog.nosqlfan.com

Hadoop 的 Namenode 单点问题一直广受诟病，而这个问题最近将会得到解决，对Namenode 的HA方案已经完成实施并合并到主干，经过严格的测试后将会在后续版本中发布。

HA方案中，主要进行了如下的一些工作：

  • Configuration changes for HA
  • Notion of active and standby states were added to the Namenode
  • Client-side redirection
  • Standby processing journal from Active
  • Dual block reports to Active and Standby

其主要原理是将NameNode分为两种角色，Active和Standby，Active就是正在进行服务的NameNode，而Standby又分三种情况

  • Cold Standby：是当Active NN已经挂掉后才起来的，它本身没有保存任何数据，这时候并不会减少恢复时间
  • Warm Standby：是在Active NN挂掉前起来的，其中保存了一部分数据，所以在恢复时只需要恢复没有的数据，减少了恢复时间
  • Hot Standby：它里面保存的数据和Active是完成一样的，可以直接热切换到它上面继续服务

详细介绍请看设计文档： NameNode+HA_v2.pdf

相关文章：

Hadoop生态图谱
SQL? Hadoop? 使用什么工具来处理数据?
下一代Apache Hadoop MapReduce
hadoop的1TB排序
Hoop：Hadoop HDFS的RESTFul封装
无觅

相关 [hadoop namenode ha] 推荐：

Hadoop Namenode HA 合并到主干

- - NoSQLFan
Hadoop 的 Namenode 单点问题一直广受诟病，而这个问题最近将会得到解决，对Namenode 的HA方案已经完成实施并合并到主干，经过严格的测试后将会在后续版本中发布. HA方案中，主要进行了如下的一些工作：. 其主要原理是将NameNode分为两种角色，Active和Standby，Active就是正在进行服务的NameNode，而Standby又分三种情况.

浅析Hadoop Secondary NameNode，CheckPoint Node，Backup Node

- - CSDN博客云计算推荐文章
Hadoop SecondaryNameNode并不是Hadoop 第二个NameNode，它不提供NameNode服务，而仅仅是NameNode的一个工具. 这个工具帮助NameNode管理Metadata数据. NameNode的HDFS文件信息（即Metadata）记录在内存中，client的文件写操作直接修改内存中的Metadata，同时也会记录到硬盘的Edits文件，这是一个Log文件.

（转）hadoop 根据SecondaryNameNode恢复Namenode

- - 行业应用 - ITeye博客
 制造namenode宕机的情况 . 1) kill 掉namenode的进程. 2)删除dfs.name.dir所指向的文件夹，这里是/home/hadoop/hdfs/name.. 删除name目录下的所有内容，但是必须保证name这个目录是存在的. 3）从secondarynamenode元数据namesecondary目录下复制到namenode name目录下.

HA-JDBC -

- -
The state manager component is responsible for storing the active status of each database in the cluster, as well as any durability state.

MySQL HA 的選擇…

- - Gea-Suan Lin's BLOG
Percona 把常見的 MySQL High Availability 選擇整理後發表成 Webinar，投影片在這裡可以看到 (以及下載)：「 Choosing a MySQL High Availability Solution」. 沒有太多新的東西，主要還是再次描述 MySQL HA 這塊目前沒有萬靈丹，常見的這幾個方案各有自己的優缺點，會依照環境與需求而產生不同的選擇.

nginx + keepalive 实现HA

- - CSDN博客编程语言推荐文章
主nginx负载均衡器 192.168.166.203. 辅nginx负载均衡器 192.168.166.177. VIP地址 192.168.166.178. 二．修改配置文件为以下内容:　[master slave].  state MASTER #(主机为MASTER，备用机为BACKUP).

SUSE Linux HA双机搭建

- - CSDN博客数据库推荐文章
原来的数据库服务器运行在HP DL388G7服务器上面，内存32G，由于业务增长，内存吃紧，加上时不时出现服务器硬件故障，由于是单实例单服务器，存在单点发现，于是打算采取一些措施改善一下：. 2）并搭建服务器操作系统级别的双机. 3）迁移数据库数据到新服务器. 前面已经写过数据迁移相关的文章，题目为“ EXP/IMP迁移数据”，链接如下： http://blog.csdn.net/laven54/article/details/8877940.

hdfs-ha热备原理

- - 开源软件 - ITeye博客
下面的总结来自于： http://dongxicheng.org/hadoop-hdfs/hdfs-ha-federation-deploy/ .            Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion. HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务.

MySQL HA Solution 2019(3)MyCat

- - 企业架构 - ITeye博客
0  . 0  .       .

MySQL HA Solution 2019(4)MaxScale

- - 企业架构 - ITeye博客
已有 0 人发表留言，猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.