OOzie简介

标签: oozie 简介 | 发表时间:2014-02-08 07:14 | 作者:GreatElite
出处:http://blog.csdn.net

     用几句话就可以概括什么是Oozie:

  • Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统。
  • Oozie的工作流是一系列动作的直接周期图。
  • Oozie协调作业就是通过时间(频率)和有效数据触发当前的Oozie工作流程
  • Oozie是Yahoo针对Apache Hadoop开发的一个开源工作流引擎。
    用于管理和协调运行在Hadoop平台上(包括:HDFS、Pig和
    MapReduce)的Jobs。Oozie是专为雅虎的全球大规模复杂
    工作流程和数据管道而设计。
  • Oozie围绕着两个核心进行:工作流(Workflow)和
    协调器(Coordinator),前者定义任务拓扑和执行逻辑,后
    者负责工作流的依赖和触发。

     更多内容,请参考下列资源:

  1.  Apache官网:https://oozie.apache.org/
  2.  Oozie开发指导:http://blog.cloudera.com/blog/category/oozie/
  3.  OOzie中文实例介绍:http://www.infoq.com/cn/articles/oozieexample



作者:GreatElite 发表于2014-2-7 23:14:39 原文链接
阅读:97 评论:0 查看评论

相关 [oozie 简介] 推荐:

OOzie简介

- - CSDN博客云计算推荐文章
     用几句话就可以概括什么是Oozie:. Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统. Oozie的工作流是一系列动作的直接周期图. Oozie协调作业就是通过时间(频率)和有效数据触发当前的Oozie工作流程. Oozie是Yahoo针对Apache Hadoop开发的一个开源工作流引擎.

oozie定时循环调度sqoop job 增量导数入hive

- - angela的博客
假设oracle里面有一个student表每10分钟有一批新增的数据,现在想要把数据同步到hive,实现思路是用oozie的coordinator定义一个job,job里面调度workflow用sqoop从oracle里增量导数入hive. 一、oozie调度sqoop直接导数入hive --全量.

[原]Oozie工作流属性配置的方式与策略

- - Laurence的技术博客
Oozie工作流属性配置的三种方式. Oozie有三种方法可以给工作流提供属性属性配置:. App部署文件夹根目录下的:config-default.xml. 作业属性文件:job.properties. 在命令行中指定属性:-Dkey=value. Oozie工作流属性配置的策略(最佳实践). 坦率地讲,三种配置相互重叠,全部使用会使属性的配置过于分散,使得查找和定位属性变得繁琐.

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

- - ITeye博客
郑昀 创建于2014/10/30 最后更新于2014/10/31. 一)选型:Shib+Presto. 应用场景:即席查询(Ad-hoc Query). 使用者是产品/运营/销售运营的数据分析师;. 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里;. 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待;.

Flask-Babel 简介

- yinseny - python.cn(jobs, news)
本文有一个格式好看一点,并且有语法高亮的版本放在 readthedocs,欢迎浏览. 本文是原创,不是翻译,不过本文其实是谈翻译的. 话说用 wordpress 的 WYSIWYG 编辑器写这样的文章真痛苦啊,格式一不小心就乱了,本文是用 rst 写成,编译为 html,然后贴到这边来的. 最近用 Flask 给公司做了个小 web 应用,做的时候用英文了,现在要求翻译成中文.

AsciiDoc简介

- dayu - 桃源
AsciiDoc 是一种简单的基于纯文本的文档生成工具, 与它类似的还有 reStructuredText, Markdown. 说是生成文档, 其实它可以将纯文本文件转换成各种类型, 比如:. Man Page (示例). Graphviz 图形 (示例). 使用AsciiDoc进行文档编写最著名的恐怕是Git官方的 Git User’s Manual (我表示对于初学者很难看懂), 这篇博客也是通过AsciiDoc生成, 文后会附上本文的原始代码以便参考..

ABAP简介

- - 博客园_首页
中文名称:高级企业应用编程语言. 英文全称:Advanced Business Application Programming. 德语全称:Allgemeiner Berichtsaufbereitungsprozessor(通用报表预处理器). 概述:一种高级编程语言,起源于20世纪80年代,由德国软件公司SAP开发,主要用作SAP的编程,现行版本为ABAP/4,同时支持面向过程和面向对象.

json简介

- - ITeye博客
    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于阅读和编写,同时也易于机器解析和生成. 它基于ECMA262语言规范(1999-12第三版)中JavaScript编程语言的一个子集. JSON采用与编程语言无关的文本格式,但是也使用了类C语言(包括C, C++, C#, Java, JavaScript, Perl, Python等)的习惯,这些特性使JSON成为理想的数据交换格式.

[转]amanda 简介

- - 小鸥的博客
    安装mysql数据库是会发现三个用户 mysql 、postmyql 、amanda,其中amanda是什么呢.   Amanda 是最早出现的开源备份 软件. 它的名字来自Maryland大学. Amanda的意思是高级Maryland 硬盘归档器..   Amanda通过 操作系统上 一些自带的备份工具,例如tar(Unix/linux)、zip(Windows)来实现备份的计划,自动化和跟踪等功能.

[转]HBase简介

- - 小鸥的博客
   Hbase是一个分布式开源数据库,基于Hadoop分布式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能. 其目标是处理非常庞大的表,可以用普通的计算机处理超过10亿行数据,并且有数百万列元素组成的数据表. Hbase可以直接使用本地文件系统或者Hadoop作为数据存储方式,不过为了提高数据可靠性和系统的健壮性,发挥Hbase处理大数据量等功能,需要使用Hadoop作为文件系统.