"Namenode瓶颈解决方案"分享总结

此分享是关于Namenode中Blocksmap太大等引起的瓶颈问题解决方案. 1.用行级锁缩小Namespace锁粒度 2.用Cache + FusionIO解决吃内存的问题 3.持久化Blockmap, 加速重启过程 4.无状态化Namenode, 支持热部署 5.简单主备策略保证可靠性. 都是海量惹得祸_之_大家来聊Namenode瓶颈解决方案.rar (3.2 MB).

Hadoop SecondaryNameNode并不是Hadoop 第二个NameNode，它不提供NameNode服务，而仅仅是NameNode的一个工具. 这个工具帮助NameNode管理Metadata数据. NameNode的HDFS文件信息（即Metadata）记录在内存中，client的文件写操作直接修改内存中的Metadata，同时也会记录到硬盘的Edits文件，这是一个Log文件.

Hadoop 的 Namenode 单点问题一直广受诟病，而这个问题最近将会得到解决，对Namenode 的HA方案已经完成实施并合并到主干，经过严格的测试后将会在后续版本中发布. HA方案中，主要进行了如下的一些工作：. 其主要原理是将NameNode分为两种角色，Active和Standby，Active就是正在进行服务的NameNode，而Standby又分三种情况.

 制造namenode宕机的情况 . 1) kill 掉namenode的进程. 2)删除dfs.name.dir所指向的文件夹，这里是/home/hadoop/hdfs/name.. 删除name目录下的所有内容，但是必须保证name这个目录是存在的. 3）从secondarynamenode元数据namesecondary目录下复制到namenode name目录下.

   最近在处理一些比较复杂的问题，在解决这个问题的同时，我深刻的体会到，问题的本身，对我来讲，并不是最重要或者最紧要的（当我解决掉一个问题，其结果也只是问题不存在了）. 我认为是我的思维能力或者思维方式，用最优质的方法去解决问题，这才是王道. 在平平淡淡的生活中，我们会碰到大量的问题，有的问题 凭直觉就能解决，如果碰到稍微复杂的问题，我们就不知道从什么地方入手，也就是我们找不到解决问题的方法，或者叫切入点.

Working size超过可用内存. Working Size怎么理解. 肯定不是指数据库的大小，应该是在保证业务指标——响应时间、QPS的情况下，数据库使用的内存大小. 其超过可用内存后的直接影响就是系统开始使用“swap”，从而大大降低DB的性能. 所以，DB服务器要有充足的内存. 运行时间很长的查询，要是么很消耗内存、CPU，比如联合查询，要么是很消耗磁盘I/O，比如没有用到索引的“遍历”——这应该算是“事故”.

为陷入瓶颈期摄影师准备的可行建议. 作为一位作家，我深刻地理解以下这种感受 – 僵坐在电脑前，盯着闪烁的鼠标和空无一字的Word文档，这一刻灵感缺席，只能任凭恐惧和虚无肆虐. 纵有成千上万的思绪和故事就在齿边，却就是没有办法将它们形成文字. 当我拍照时，上述的同样场景也往往发生在我身上. 所以……你该去做些什么才能走出困境并打破摄影瓶颈.

服务器性能上不去，是哪里出了问题?IO还是CPU. 只有找到瓶颈点，才能对症下药；. 如何寻找Linux单机负载瓶颈，遵循的原则是不要推测，我们要通过测量的数据说话；. 1.查看平均负载（top/uptime命令）. 2.确认CPU、IO有无瓶颈；（使用 sar vmstat）. 3.CPU负载过高时寻找流程：.

IO瓶颈往往是我们可能会忽略的地方（我们常会看top、free、netstat等等，但经常会忽略IO的负载情况），今天给大家详细分享一下如何确认一台服务器的IO负载是否到达了瓶颈，以及可能优化、定位的点. 先来看一台典型的IO密集型服务器的cpu统计图：. 可以看到，CPU总使用率不高，平均1.3%，max到5.6%，虽然大部分都耗在了iowait上，但才百分之五左右，应该还没到瓶颈吧.

程序员的收入是广受关注的问题，很多人从业3～5年之后就会遇到这个收入瓶颈. 尽管物价不断上涨，程序员尤其是初、中级程序员的收入不升反降. 即使上次在某个文章中看到有中国第一程序员之称的某位，月薪也只有3万，尽管这个数字已经很高了，但这个“中国第一”，也只有众多小型软件企业总监级别的收入而已. 为什么这么高水平的技术人员在公司中的位置仍然显得与日俱降.