Azkaban2官方配置文档

标签： azkaban2 官方文档 | 发表时间：2013-10-08 04:24 | 作者：zhang__bing

出处：http://blog.csdn.net

最近工作实在是太忙了，我把之前翻译的官方的文档先放上来吧，希望对大家有所帮助~ 吐舌头

介绍

Azkaban2新功能：

1、Web UI

2、简单工作流上传

3、更容易设置job的依赖关系

4、调度工作流

5、权限设置

6、Kill和restart工作流

7、模块化和插件化

8、日志和设计工作流和job

搭建

Azkaban2是相当容易搭建的，尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建：

l MySQL

l Azkaban Web Server - 是一个和web接口一样的充当控制器功能的Jetty Server

l Azkaban Executor Server - 用于提交工作流

下载

需要从Azkaban下载3个包： web server, executor server 和MySQL启动脚本。

下载地址：

https://github.com/azkaban/azkaban2/wiki/Download-Packages

搭建数据库

现在，Azkaban只能用MySQL进行数据存储。

l 下载 azkaban-sql-script tar包。

l 运行包中的mysql脚本来创建数据库表。

获取JDBC驱动jar包

下载地址： http://www.mysql.com/downloads/connector/j/

搭建Web Server

下载并安装

1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。

2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这个目录下的外部引入jar包。

在 conf 目录下，会有以下几个文件：

文件	描述
azkaban.properties	用于Azkanba运行时的属性配置
global.properties	全局静态属性，作为共享属性共享给每一个工作流程和job
azkaban-users.xml	用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动，则这个文件将不会被使用

搭建SSL

Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建：

http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

一旦一个keystore文件被创建，Azkaban必须要给出它的位置和密码，包括azkaban.properties中下面的内容页应该被重写：

jetty.keystor-keystore

jetty.password=password

jetty.keypassword=password

jetty.truststore=keystore

jetty.trustpassword=password

搭建UserManager

Azkaban使用UserManager提供验证和用户角色的设置。默认情况下，Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置，azkaban-users.xml可以再azkaban.properties文件中查看到：

l user.manager.class=azkaban.user.XmlUserManager

l User.manager.xml.file=conf/azkaban-users.xml

接下来是一个azkaban-users.xml文件的例子：

<azkaban-users>
     <user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>
    <role name="admin" permissions="ADMIN" />
</azkaban-users>

也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager。

搭建数据库

为了让Azkaban web client可以连接到MySQL，需要配azkaban.properties 文件中的一下属性：

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban2
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100

配置主机和端口号

配置azkaban.properties中的属性：

executor.port=12321

executor.host=<url>

搭建Web Client

Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口号和连接的数量。

颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。

安装可视化插件

之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中，它可以作为一个插件进行配置。

为了安装可视化插件，需要下载并文件解压到./plugin/viewer目录下。

运行Web Server

Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。

-------------------------------------------------------------------------------------------------------

Azkaban Web Server设置

一般属性

Property	Description	Default
azkaban.name	将会在Azkaban UI中展示出来的azkaban的名字	Local
azkaban.label	一个描述Azkaban实例的标签	My Local Azkaban
azkaban.color	设置Azkaban UI颜色的一个十六进制的值	#FF3601 (red)
web.resource.dir	设置UI的css和javascript文件存放的路径	src/web
default.timezone	默认的时区	America/Los_Angeles
user.manager.class	用户管理用户权限的 user manager。默认是XmlUserManager	azkaban.user.XmlUserManager
mail.sender	邮件发送的地址
mail.host	邮件server主机地址
mail.user	邮件server用户名
mail.password	邮件server密码
azkaban.should.proxy	被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除	false
proxy.keytab.location	被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除
proxy.user	代理用户
viewer.plugin.dir	可视化插件被安装到的目录	plugins/viewer

Jetty 属性

Property	Description	Default
jetty.maxThreads	最大请求线程数	25
jetty.ssl.port	Ssl端口号	8443
jetty.keystore	The keystore file	keystore
jetty.password	Jetty password	password
jetty.keypassword	The keypassword	password
jetty.truststore	The trust store	keystore
jetty.trustpassword	The trust password	password

Mysql连接属性

Property	Description	Default
database.type	数据库类型，现在只支持mysql	mysql
mysql.port	Mysql数据库的端口号	3306
mysql.host	Mysql数据库的主机地址	localhost
mysql.database	Mysql数据库名称	azkaban2
mysql.user	mysql user	azkaban
mysql.password	mysql password	password
mysql.numconnections	Azkaban webclient可以开放给数据库的连接数量	100

Execurot Sercer属性

Properties	Description	Default
executor.port	azkaban executor server端口号	12321
executor.host	azkaban executor server主机地址	localhost

设置Executor　Ｓerver

下载和安装

1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。

2、Copy jdbc驱动jar包到./extlib目录下。

File	Description
azkaban.properties	Azkaban运行时属性
global.properties	全局静态属性，作为共享属性共享给每一个工作流程和job

搭建数据库

为了让Azkaban web client可以连接到MySQL，需要配azkaban.properties 文件中的一下属性：

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban2
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100

配置主机和端口号

配置azkaban.properties中的属性：

executor.maxThreads=50

executor.port=12321

-----------------------------------------------------------------------------

转载请注明出处：http://blog.csdn.net/gloria__zhang/article/details/12402051

作者：zhang__bing 发表于2013-10-7 20:24:59 原文链接

阅读：103 评论：0 查看评论

Azkaban2官方配置文档

相关 [azkaban2 官方文档] 推荐：