kettle 命令行运行作业和转换

标签: kettle 命令行 作业 | 发表时间:2015-11-17 10:34 | 作者:艾伦蓝
出处:http://www.iteye.com
Kettle 命令行使用说明

1.Kitchen——作业执行器

是一个作业执行引擎,用来执行作业。这是一个命令行执行工具, 参数说明如下
1) -rep:Repositoryname 任务包所在存储名
2) -user:Repositoryusername 执行人
3) -pass:Repositorypassword 执行人密码
4) -job:Thenameofthejobtolaunch 任务包名称
5) -dir:Thedirectory(don'tforgettheleading/or\)
6) -file:Thefilename(JobXML)tolaunch
7) -level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别
8) -log:Theloggingfiletowriteto 指定日志文件
9) -listdir:Listthedirectoriesintherepository 列出指定存储中的目录结构。
10) -listjobs:Listthejobsinthespecifieddirectory 列出指定目录下的所有任务
11) -listrep:Listthedefinedrepositories 列出所有的存储
12) -norep:Don'tlogintotherepository 不写日志
示例: 1. Windows 中多个参数以 / 分隔,key 和 value 之间以:分隔
 作业存储在文件
Kitchen /level:Basic>D:\etl.log /file:F:\Kettledemo\email.kjb

 作业存储在数据库
Kitchen /rep kettle /user admin /pass admin /job F_DEP_COMP

( Rep 的值为数据库资源库 ID)

2. Linux 中参数以 –分隔
作业存储在文件
kitchen.sh-file=/home/job/huimin.kjb >> /home/ log/kettle.log

作业存储在数据库
./kitchen.sh -rep=kettle1 -user=admin -pass=admin -level=Basic -job=job


2.Pan——转换执行器
是一个转换执行引擎,用来执行转换。 参数与 Kitchen 类似, 如下。
1- -version 显示版本信息
2- -file=filename 运行 xml 文件
3- -param:key=value 指定命名参数
4- -log=logging filename 设置日志文件
5- -level=logging level 设置日志级别
Error:只显示错误
Nothing:不显示任何输出
Minimal:只使用最少的记录
Basic:这是默认的基本日志记录级别
Detailed:详细的日志输出
Debug:以调试为目的,非常详细的输出
Rowlevel:使用行级记录,会产生大量的数据

命令如下:
pan /level:Basic>D:\etl.log /file:F:\Kettledemo\email.ktr

返回状态:
Pan 会基于执行状况返回一个错误码。
• 0:转换执行成功
• 1:处理过程中发生错误
• 2:在装载或者运行时发生意外的错误
• 3:不能初始化转换
• 7:转换不能从资源库或 xml 中装载
• 8:装载步骤或插件错误(通常是装载其中一个插件错误)
• 9:命令行用法错误




已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [kettle 命令行 作业] 推荐:

kettle 命令行运行作业和转换

- - 编程语言 - ITeye博客
Kettle 命令行使用说明. 1.Kitchen——作业执行器. 是一个作业执行引擎,用来执行作业. 这是一个命令行执行工具, 参数说明如下. 1) -rep:Repositoryname 任务包所在存储名. 2) -user:Repositoryusername 执行人. 3) -pass:Repositorypassword 执行人密码.

Kettle 创建 Transformation

- - CSDN博客推荐文章
1.第一步,先准备数据和工具. 安装好mysql以及客户端工具.   `status` int(11) NOT NULL COMMENT '对内= 1 ,对外= 2',. 以上我们建了四个表,客户customer,账户account,交易记录trade,交易明细表trade_detail. 用下面的sql查询一下得到每个客户下每个账户的交易明细.

kettle执行job

- - 互联网 - ITeye博客
ETL高级教程kettle. 1,Kettle跨平台使用.     例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:.     1)进入到Kettle部署的路径.     2)执行 chmod *.sh,将所有shell文件添加可执行权限.

kettle 开发总结

- - CSDN博客推荐文章
2.在用file exists 控件的时候,当用到“文本文件输入”时,文本文件中需要一定的格式,类似下图:. ;当然也可以已经创建了相应的表,然后直接按“确定”按钮就行,如果相应的表和输入的列数及列属性不一样时,也可以在sql按钮的语句中取修改. 在使用file exists时,输入也可以用表输入.

Kettle运行日志记录

- - 开源软件 - ITeye博客
原创文章,转载请注明出处:http://qq85609655.iteye.com/blog/2173882. 在kettle.properties中,可以定义参数. 来全局设置,记录kettle的job和trans日志,. 记录日志,会进行锁表,在kettle作业非常多的情况下,容易造成表锁,以及队列等待job日志记录的情况严重影响效率.

kettle参数、变量详细讲解

- - CSDN博客数据库推荐文章
kettle参数、变量详细讲解. 1、     variable(变量). variables 也可以认为叫做environment variables , 就像它的名字一样,主要是用来设定环境变量的,比如最常见的:文件的存放地址,smtp的配置等等,你也可以把它认为是编程语言里面的全局变量,即使是不同的转换它们也拥有同样的值;.

基于spring-boot的kettle调度 - 简书

- -
大家好,我是帅气小伙,由于最近公司项目辗转大数据,需要做数据抽取的工作,kettle是目前比较成熟的ETL工具,而传统的kettle客户端在任务调度这方面没有实现,于是在网上寻找开源的kettle调度项目. 专门为kettle这款优秀的ETL工具开发的web端管理工具. 貌似源码跑起来比较费劲,各种缺包,于是我为大家专门整理了一下这个项目.

利用kettle组件导入excel文件到数据库

- - CSDN博客数据库推荐文章
利用kettle组件导入excel文件到数据库.        把excel文件内容导入到目标表中;然后用java调用kettle的转换. excel文件的内容只有两列,示例如下:.        数据库表的结构如下:. 使用oracle函数解决上图黄色行的字段:两个uuid和两个系统日期;. 需要生成uuid,这个在oracle中可以利用SYS_UUID()函数实现;.

Kettle环境变量在ETL工程上的应用

- - 行业应用 - ITeye博客
    好久没更新博文,最近临近离职,事情少了,有空停下来总结总结这段时间的东西.     今天先记录下Kettle环境变量的应用.     一个好的环境变量的使用,在业务变更或者环境变动后,只需要很少工作量的修改即可完成. 我们把变量分成系统环境变量和业务变量,系统环境变量是指那些在ETL中指定的系统级资源配置,如数据库信息、日志文件路径等等,这些变量一旦设定,不会经常变动;业务变量指跟当前ETL执行处理的内容有关,如日期、产品ID等等,跟运行时有关.

ETL工具Pentaho Kettle的transformation和job集成

- - CSDN博客推荐文章
Kettle是一款国外开源的etl工具,纯java编写,数据抽取高效稳定(数据迁移工具). Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. 2.1.       transformation实现解析.