Azkaban2官方配置文档

标签: azkaban2 官方 文档 | 发表时间:2013-10-08 04:24 | 作者:zhang__bing
出处:http://blog.csdn.net

最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~ 吐舌头

介绍

Azkaban2新功能:

1、Web UI

2、简单工作流上传

3、更容易设置job的依赖关系

4、调度工作流

5、权限设置

6、Kill和restart工作流

7、模块化和插件化

8、日志和设计工作流和job

搭建

Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:

l  MySQL

l  Azkaban Web Server  - 是一个和web接口一样的充当控制器功能的Jetty Server

l  Azkaban Executor Server - 用于提交工作流

 

下载

需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。

下载地址:

https://github.com/azkaban/azkaban2/wiki/Download-Packages

 

搭建数据库

现在,Azkaban只能用MySQL进行数据存储。

l  下载 azkaban-sql-script tar包。

l  运行包中的mysql脚本来创建数据库表。

获取JDBC驱动jar包

下载地址: http://www.mysql.com/downloads/connector/j/ 

搭建Web Server

下载并安装

1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。

2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这          个目录下的外部引入jar包。

在 conf 目录下,会有以下几个文件:

文件

描述

azkaban.properties

用于Azkanba运行时的属性配置

global.properties

全局静态属性,作为共享属性共享给每一个工作流程和job

azkaban-users.xml

用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用

搭建SSL

Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:

http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:

jetty.keystor-keystore

jetty.password=password

jetty.keypassword=password

jetty.truststore=keystore

jetty.trustpassword=password

 

搭建UserManager

Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:

l  user.manager.class=azkaban.user.XmlUserManager

l  User.manager.xml.file=conf/azkaban-users.xml

接下来是一个azkaban-users.xml文件的例子:

<azkaban-users>   
     <user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>   
     <role name="admin" permissions="ADMIN" />   
</azkaban-users>

 

也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager。

搭建数据库

为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties      文件中的一下属性:

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban2
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100


       配置主机和端口号

配置azkaban.properties中的属性:

executor.port=12321

executor.host=<url>

 

搭建Web Client

             Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口      号和连接的数量。

颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。

安装可视化插件

之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。

为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。

运行Web Server

Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。

 

 

 -------------------------------------------------------------------------------------------------------

 

Azkaban Web Server设置

一般属性

Property

Description

Default

azkaban.name

将会在Azkaban UI中展示出来的azkaban的名字

Local

azkaban.label

一个描述Azkaban实例的标签

My Local Azkaban

azkaban.color

设置Azkaban UI颜色的一个十六进制的值

#FF3601 (red)

web.resource.dir

设置UI的css和javascript文件存放的路径

src/web

default.timezone

默认的时区

America/Los_Angeles

user.manager.class

用户管理用户权限的     user manager。默认是XmlUserManager

azkaban.user.XmlUserManager

mail.sender

邮件发送的地址

 

mail.host

邮件server主机地址

 

mail.user

邮件server用户名

 

mail.password

邮件server密码

 

azkaban.should.proxy

被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除

false

proxy.keytab.location

被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除

 

proxy.user

代理用户

 

viewer.plugin.dir

可视化插件被安装到的目录

plugins/viewer

 

Jetty 属性

Property

Description

Default

jetty.maxThreads

最大请求线程数

25

jetty.ssl.port

Ssl端口号

8443

jetty.keystore

The keystore file

keystore

jetty.password

Jetty password

password

jetty.keypassword

The keypassword

password

jetty.truststore

The trust store

keystore

jetty.trustpassword

The trust password

password



 

 

Mysql连接属性

Property

Description

Default

database.type

数据库类型,现在只支持mysql

mysql

mysql.port

Mysql数据库的端口号

3306

mysql.host

Mysql数据库的主机地址

localhost

mysql.database

Mysql数据库名称

azkaban2

mysql.user

mysql user

azkaban

mysql.password

mysql password

password

mysql.numconnections

Azkaban webclient可以开放给数据库的连接数量

100

 

Execurot Sercer属性

Properties

Description

Default

executor.port

azkaban executor server端口号

12321

executor.host

azkaban executor server主机地址

localhost



 

 

设置Executor Server

下载和安装

1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。

2、Copy jdbc驱动jar包到./extlib目录下。

File

Description

azkaban.properties

Azkaban运行时属性

global.properties

全局静态属性,作为共享属性共享给每一个工作流程和job

 

 

搭建数据库

为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties      文件中的一下属性:

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban2
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100


       配置主机和端口号

配置azkaban.properties中的属性:

executor.maxThreads=50

executor.port=12321

 

 -----------------------------------------------------------------------------

转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051

作者:zhang__bing 发表于2013-10-7 20:24:59 原文链接
阅读:103 评论:0 查看评论

相关 [azkaban2 官方 文档] 推荐:

Azkaban2官方配置文档

- - CSDN博客云计算推荐文章
最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~. 3、更容易设置job的依赖关系. 6、Kill和restart工作流. 8、日志和设计工作流和job. Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装. 在Azkaban2中有两个server和一个数据库需要搭建:.

《Spark 官方文档》监控和工具

- - 并发编程网 - ifeve.com
spark-1.6.0  原文地址. 监控Spark应用有很多种方式:web UI,metrics 以及外部工具. 每个SparkContext都会启动一个web UI,其默认端口为4040,并且这个web UI能展示很多有用的Spark应用相关信息. 一个stage和task的调度列表. 一个关于RDD大小以及内存占用的概览.

25MB的官方插件:Chrome浏览器接管查看微软Office文档功能

- - PingWest
大家都在 Chrome浏览器中查看过PDF文件,这是通过 Chrome内置的PDF查看器实现的,非常方便. 可是我们还经常会在网页上遇到.doc、.xls、.ppt等 微软Office文件,往往需要下载后用本地的Office软件查看,尤其是.ppt、.xls这样视觉效果比较复杂的文件. 如果你用过Chromebook的话,一定会倾心于该设备上的Chrome浏览器带来的流畅、高效的Office文件查看体验,跟PDF查看器是一样的效果.

推荐一个被阿里巴巴官方高度认可的vue生态中交互、体验、逻辑处理超棒的国产admin框架ant-design-vue-pro,免费开源,文档全面,希望国内开发者支持认真做事的手...

- - 沸点 - 推荐
推荐一个被阿里巴巴官方高度认可的vue生态中交互、体验、逻辑处理超棒的国产admin框架ant-design-vue-pro,免费开源,文档全面,希望国内开发者支持认真做事的手艺人,不要总想着投机取巧,踏踏实实做事.

Gora官方范例

- - CSDN博客推荐文章
参考官方文档:http://gora.apache.org/current/tutorial.html. 项目代码见:https://code.csdn.net/jediael_lu/mygorademo. 2、分别进入$GORA_HOME/gora-hbase/,$GORA_HOME/gora-core,$GORA_HOME/gora-compiler,$GORA_HOME/gora-compiler-CLI执行.

HTML5 & CSS3 研究文档

- Kings - 幸福收藏夹
已经说了好久,一直没把这个文件夹分享出来. 这是我去年第四季度里做的,里面有 11 一个文档. 包括 HTML5 中最主要的 JS API 文档,还有 CSS3 中两个比较难的属性. 主要还停留在纯 API 层面上的研究,没有深入到应用中去. 不过,当做工具来使用,和入门文档,还是不错的. 特别是其中的 HTML5 JS API 文档.

Twitter API中文文档

- Jacob - 月光博客
  目前的国内的微博客很多,不少微博客都提供Open API,然而,很多微博提供的API和Twitter的API有一些或多或少的差别,调用格式上并不完全相同.   我建议所有提供API的微博客系统,都将各自的API统一为Twitter的API调用格式,例如目前较有影响的开源微博系统StatusNet(Laconica)的API格式就完全兼容Twitter,这种统一API对于开发者和用户都有很大的好处.

Underscore.js Version (1.2.3) 中文文档

- - WEB前端开发
Underscore 一个非常实用的JavaScript库,提供许多编程功能的支持,就像你期望 Prototype.js (或者 Ruby), 有这些功能且不扩展任何JavaScript的原生对象. 有函数式编程的风格,还支持链式调用. 主要涉及对Collection、Object、Array、Function的操作,还有一些实用方法.

Redis集群明细文档

- - CSDN博客架构设计推荐文章
  Redis目前版本是没有提供集群功能的,如果要实现多台Redis同时提供服务只能通过客户端自身去实现(Memchached也是客户端实现分布式). 目前根据文档已经看到Redis正在开发集群功能,其中一部分已经开发完成,但是具体什么时候可以用上,还不得而知. 文档来源: http://redis.io/topics/cluster-spec.

elasticsearch文档-字段的mapping

- - 开源软件 - ITeye博客
elasticsearch文档-字段的mapping. Mapping是指定义如何将document映射到搜索引擎的过程,比如一个字段是否可以查询以及如何分词等,一个索引可以存储含有不同"mapping types"的documents,ES允许每个mapping type关联多个mapping定义.