Apache Hadoop 2.2.0 稳定版发布

标签： 软件更新新闻 | 发表时间：2013-10-16 16:28 | 作者：
出处：http://www.oschina.net/?from=rss

Apache Hadoop 2.2.0 稳定版发布了，建议用户升级。该版本更加稳定，同时在 API 和协议上兼容老的版本。

与 Hadoop 1.x 比较，该版本显著的改进包括：

  • YARN - A general purpose resource management system for Hadoop to allow MapReduce and other other data processing frameworks and services
  • High Availability for HDFS
  • HDFS Federation
  • HDFS Snapshots
  • NFSv3 access to data in HDFS
  • Support for running Hadoop on Microsoft Windows
  • Binary Compatibility for MapReduce applications built on hadoop-1.x
  • Substantial amount of integration testing with rest of projects in the ecosystem

升级到 Hadoop 2.2.0 需要注意的有：

  • HDFS - The HDFS community decided to push the symlinks feature out to a future 2.3.0 release and is currently disabled.
  • YARN/MapReduce - Users need to change ShuffleHandler service name from mapreduce.shuffle to mapreduce_shuffle.

更多详细介绍请看  Hadoop 2.2.0 Release Notes

相关 [apache hadoop] 推荐：

Apache Hadoop 2.0.3发布了

- - 董的博客
Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http://dongxicheng.org/mapreduce-nextgen/apache-hadoop-2-0-3-published/. Apache Hadoop 2.0.3发布了，在这次版本更新中，主要增加了以下几个特性：.

Apache Sqoop 1.4.3 发布，Hadoop 数据迁移

- - 开源中国社区最新新闻
Sqoop是一个用来将 Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中. Sqoop 1.4.3 完整的改进记录请看 这里. 下载地址： http://www.apache.org/dyn/closer.cgi/sqoop/.

Apache Hadoop 2.2.0 稳定版发布

- - 开源中国社区最新新闻
Apache Hadoop 2.2.0 稳定版发布了，建议用户升级. 该版本更加稳定，同时在 API 和协议上兼容老的版本. 与 Hadoop 1.x 比较，该版本显著的改进包括：. YARN - A general purpose resource management system for Hadoop to allow MapReduce and other other data processing frameworks and services.

Apache Hadoop 1.0.0支持Kerberos验证，支持Apache HBase，提供针对HDFS的RESTful API

- - InfoQ中文站
海量数据框架Apache Hadoop怀胎六年终于瓜熟蒂落发布1.0.0版本. 本次发布的核心特性包括支持Kerberos身份验证，支持Apache HBase，以及针对HDFS的RESTful API. InfoQ就此次发布请Apache Hadoop项目的VP——Arun Murthy回答了几个问题.

[综合]Apache Hadoop 2.2.0集群安装(2)[翻译]

- - ITeye博客
NodeManager节点健康监控. hadoop提供一个检测一个节点健康状态的机制，那就是管理员可以配置NodeManager去周期性执行一个脚本. 管理员可以在这个脚本中做任何的状态监控从而决定此节点是否健康. 如果某节点不健康了，那么他们会有一个标准的错误输出，NodeManager的脚本周期性检测输出，如果节点输出中包含了ERROR字符串，那么此节点会被上报为 unhealthy ，并且此节点会被ResourceManager放入黑名单.

[综合]Apache Hadoop 2.2.0集群安装(1)[翻译]

- - ITeye博客
此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点. 初次接触hadoop建议先从 单节点集群开始. 从Apache 上下载了稳定的版本. 安装hadoop集群通常需要在所有的节点上解压软件或者prm安装. 通常集群中的某一个节点被当做NameNode,其他节点作为ResourceManager，这些是主控节点.

比较Apache Hadoop 生态系统中不同的文件格式和存储引擎的性能

- - IT瘾-bigdata
这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro, Apache Parquet, Apache HBase 和 Apache Kudu 空间效率， 提取性能， 分析扫描以及随机数据查找等领域. 这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力.

Apache Shiro 介绍

- - CSDN博客推荐文章
什么是Apache Shiro?. Apache shiro 是一个强大而灵活的开源安全框架，可清晰地处理身份认证、授权、会话（session）和加密. Apache Shiro最主要的初衷是为了易用和易理解，处理安全问题可能非常复杂甚至非常痛苦，但并非一定要如此. 一个框架应该尽可能地将复杂的问题隐藏起来，提供清晰直观的API使开发者可以很轻松地开发自己的程序安全代码.

Apache Derby Papers

- -
Derby Type System (Note: if your browser shows HTML source for this page instead of displaying it, save the file locally with . It will prompt you to click on "Grant license to ASF for inclusion in ASF works", and this is the permission we need in place to host your contribution on the Derby web site..

Hadoop Streaming 编程

- - 学着站在巨人的肩膀上
Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：. 采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）. 本文安排如下，第二节介绍Hadoop Streaming的原理，第三节介绍Hadoop Streaming的使用方法，第四节介绍Hadoop Streaming的程序编写方法，在这一节中，用C++、C、shell脚本 和python实现了WordCount作业，第五节总结了常见的问题.