Hadoop相关技术

标签： hadoop 相关 技术 | 发表时间：2013-02-18 17:14 | 作者：xieyun1977
出处：http://blog.csdn.net

Apache的Hadoop是什么？

Apache的Hadoop项目™®开发出可靠的，可扩展的，分布式计算的开源软件。

Apache的Hadoop的软件库是一个框架，允许大型数据集通过计算机集群使用简单的编程模型，进行分布式处理。它的设计规模从单一服务器到数千台计算机，每个提供本地计算和存储。软件库是用来检测和处理应用层失败的，而不是依靠硬件提供高的有效度，因此在计算机集群上提供高度可用性服务，其中每个都有可能会有失败。

该项目包括这些模块：

•Hadoop Common：支持其他Hadoop模块的公共组件。

•Hadoop Distributed File System (HDFS™)：分布式文件系统提供了高吞吐量的访问应用程序数据。

•Hadoop YARN：作业调度和集群资源管理框架。

•Hadoop MapReduce：一种基于YARN的大型数据集的并行处理系统。

其他项目包括：

•Avro™（阿芙罗）：数据序列化系统。

•Cassandra™（卡桑德拉）：可扩展的没有单点故障的多路master数据库。

•Chukwa™：一个用于管理大型分布式系统的数据采集系统。

•HBase™：一个可扩展的，支持大型表的结构化数据存储的分布式数据库。

•Hive™：数据仓库的基础设施，提供数据汇总和即席查询。

•Mahout™：一个可扩展的机器学习和数据挖掘库。

•Pig™：一个高层次的数据流语言和执行框架的并行计算。

•ZooKeeper™：一个分布式应用程序的高性能的协调服务。

 

原文如下：

What Is Apache Hadoop?

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-avaiability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-availabile service on top of a cluster of computers, each of which may be prone to failures.

The project includes these modules:

  • Hadoop Common: The common utilities that support the other Hadoop modules.
  • Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
  • Hadoop YARN: A framework for job scheduling and cluster resource management.
  • Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

Other Hadoop-related projects at Apache include:

  • Avro™: A data serialization system.
  • Cassandra™: A scalable multi-master database with no single points of failure.
  • Chukwa™: A data collection system for managing large distributed systems.
  • HBase™: A scalable, distributed database that supports structured data storage for large tables.
  • Hive™: A data warehouse infrastructure that provides data summarization and ad hoc querying.
  • Mahout™: A Scalable machine learning and data mining library.
  • Pig™: A high-level data-flow language and execution framework for parallel computation.
  • ZooKeeper™: A high-performance coordination service for distributed applications.

 

作者：xieyun1977 发表于2013-2-18 17:14:01 原文链接
阅读：77 评论：0 查看评论

相关 [hadoop 相关 技术] 推荐：

Hadoop相关技术

- - CSDN博客云计算推荐文章
Apache的Hadoop是什么. Apache的Hadoop项目™®开发出可靠的，可扩展的，分布式计算的开源软件. Apache的Hadoop的软件库是一个框架，允许大型数据集通过计算机集群使用简单的编程模型，进行分布式处理. 它的设计规模从单一服务器到数千台计算机，每个提供本地计算和存储. 软件库是用来检测和处理应用层失败的，而不是依靠硬件提供高的有效度，因此在计算机集群上提供高度可用性服务，其中每个都有可能会有失败.

谈Hadoop下各技术应用场景

- - 人月神话的BLOG
数据采集和DataFlow. 对于数据采集主要分为三类，即结构化数据库采集，日志和文件采集，网页采集. 对于结构化数据库，采用Sqoop是合适的，可以实现结构化数据库中数据并行批量入库到hdfs存储. 对于网页采集，前端可以采用Nutch，全文检索采用lucense，而实际数据存储最好是入库到Hbase数据库.

hadoop学习（七）WordCount+Block+Split+Shuffle+Map+Reduce技术详解

- - CSDN博客数据库推荐文章
纯干活：通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程.        Shuffle过程是MapReduce的核心，集中了MR过程最关键的部分. 要想了解MR，Shuffle是必须要理解的. 了解Shuffle的过程，更有利于我们在对MapReduce job性能调优的工作，以及对MR内部机理有更深一步的了解.

盘点SQL on Hadoop中用到的主要技术

- - 奔跑的兔子
自hive出现之后，经过几年的发展，SQL on Hadoop相关的系统已经百花齐放，速度越来越快，功能也越来越齐全. 本文并不是要去比较所谓“交互式查询哪家强”，而是试图梳理出一个统一的视角，来看看各家系统有哪些技术上相通之处. 考虑到系统使用的广泛程度与成熟度，在具体举例时一般会拿Hive和Impala为例，当然在调研的过程中也会涉及到一些其他系统，如Spark SQL，Presto，TAJO等.

NUMA技术相关笔记

- - CSDN博客架构设计推荐文章
起源于在mongo启动脚本中看到numactl --interleave=all mongod .... NUMA,非统一内存访问(Non-uniform Memory Access),介于SMP(对称多处理)和MPP(大规模并行处理)之间，各个节点自有内存(甚至IO子系统),访问其它节点的内存则通过高速网络通道.

携程Hadoop跨机房架构实践_yukangkk的技术博客-CSDN博客

- -
陈昱康，携程架构师，对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣. 本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪. 一、Hadoop在携程的落地及发展情况.

论Web Service 相关技术（转）

- - 互联网 - ITeye博客
摘要：随着Internet和weh技术的迅速发展，传统的分布式计算技术已经不能 很好的适用于Web环境. 正是基于这种情况，Web Service技术应运而生. Web Service是一个新概念，它的系统架构、实现技术是现有应用的面向Internet的一个延伸. Web是为了程序到用户的交互，而Web Service是为程序到程序的交互作准备，web Service已成为IT产业近几年来探索的热点课题之一.

为什么很多公司的大数据相关业务都基于 Hadoop 方案？

- - 知乎每日精选
选择Hadoop的原因最重要的就是这三点：1，可以解决问题； 2，成本低 ； 3，成熟的生态圈. 一，Hadoop帮助我们解决了什么问题. 无论国内还是国外的大公司对于数据都有着无穷无尽的渴望，都会想尽一切办法收集一切数据，. 因为通过信息的不对称性可以不断变现，而大量的信息是可以通过数据分析得到的.

《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》电子版下载

- - 董的博客
Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http://dongxicheng.org/mapreduce-nextgen/hadoop-internals-mapreduce/. 本博客的文章集合: http://dongxicheng.org/recommend/.

为你的 Hadoop 集群选择合适的硬件 - 技术翻译 - 开源中国社区

- -
for  Hadoop) Cluster选择硬件. 选择机器配置类型的第一步就是理解你的运维团队已经在管理的硬件类型. 在购买新的硬件设备时，运维团队经常根据一定的观点或者强制需求来选择，并且他们倾向于工作在自己业已熟悉的平台类型上. Hadoop不是唯一的从规模效率上获益的系统. 再一次强调，作为更通用的建议，如果集群是新建立的或者你并不能准确的预估你的极限工作负载，我们建议你选择均衡的硬件类型.