KETTLE监控 - 月饼馅饺子 - 博客园

标签： | 发表时间：2019-08-17 18:41 | 作者：
出处：https://www.cnblogs.com
kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具。

一、集群自带的监控
kettle自带的集群监控工具可以监控转换的执行情况。

配置好集群后，打开浏览器：输入 http://localhost:8080，输入子服务器的用户名和密码


进入后，点击show status：


点击转换名称可以看到转换的详情：


该方式有三个缺点：
(1)无法监控job的执行情况。
(2)另外，如果一个转换不使用集群执行，也不会被监控。
(3)该监控的获取的数据来取内存，在关闭carte服务器后，数据消失，之前的监控信息丢失
综合以上信息，该监控并不能满足ETL需求，需要手动做监控程序。


二、自己开发kettle监控程序。
自己开发监控程序，原理是在转换和任务中设置log，执行情况会记录在日志中，通过读取日志情况判断执行情况。
2.1.在转换和任务中设置日志
转换：

一共有5种日志

a.转换日志 
    显示转换名称、开始时间、结束时间、执行状态等
b.步骤日志
    显示步骤相关情况(集群下不写入该表)

c.运行日志
    在默认日志级别下不没有数据(集群下不写入该表)
d.通道日志
    各日志通道的输出情况(集群下不写入该表)

e.指标日志(略)

2.2 任务日志
作业：

日志：

a.作业日志表
    保存作业的开始时间、结束时间、状态等

b.作业项日志表
    作业中的项目运行情况

c.日志通道日志表





2.3 监控流程
2.3.1 从资源库读取job列表
   
        
  1.      select id_job,name from kettle_res.r_job a ;
2.3.2 读取job中的转换的执行状态、上次执行时间
    
         
  1.       select distinct a.id_job,a.name job_name,b.name trans_name,c.status trans_status,c.LOGDATE laste_exec_time
    2.      
  2.       from kettle_res.r_job a  left join kettle_res.r_jobentry b on a.id_job=b.id_job and b.id_jobentry_type=87 
    3.      
  3.       left join  test.trans_logs c on b.name=SUBSTRING_INDEX(c.transname,'(',1) 
    4.      
  4.       							and c.logdate= (select max(logdate) from test.trans_logs d where SUBSTRING_INDEX(d.transname,'(',1)  =SUBSTRING_INDEX(c.transname,'(',1)  group by SUBSTRING_INDEX(d.transname,'(',1) )
    5.      
  5.       group by a.name order by a.id_job,b.id_jobentry
结果：

至此完成了最基本的监控。

2.3.2 job执行历史
select JOBNAME,status,LOGDATE from test.job_log where jobname=? order by LOGDATE desc

2.3.3 转换执行历史
select transname,status,logdate from test.trans_logs where SUBSTRING_INDEX(transname,'(',1)=? order by logdate desc

2.3.4 短信

在执行出错时可以发送邮件。


注意：看邮件提供商是否支持pop3/SMTP协议，是否需要使用SSL连接。

2.3.5 短信监控

相关 [kettle 监控 月饼] 推荐：

KETTLE监控 - 月饼馅饺子 - 博客园

- -
kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具. kettle自带的集群监控工具可以监控转换的执行情况. 配置好集群后，打开浏览器：输入 http://localhost:8080，输入子服务器的用户名和密码. 进入后，点击show status：. 点击转换名称可以看到转换的详情：.

Kettle 创建 Transformation

- - CSDN博客推荐文章
1.第一步，先准备数据和工具. 安装好mysql以及客户端工具.   `status` int(11) NOT NULL COMMENT '对内= 1 ，对外= 2',. 以上我们建了四个表，客户customer，账户account，交易记录trade，交易明细表trade_detail. 用下面的sql查询一下得到每个客户下每个账户的交易明细.

kettle执行job

- - 互联网 - ITeye博客
ETL高级教程kettle. 1，Kettle跨平台使用.     例如：在AIX下（AIX是IBM商用UNIX操作系统，此处在LINUX/UNIX同样适用），运行Kettle的相关步骤如下：.     1）进入到Kettle部署的路径.     2）执行 chmod *.sh，将所有shell文件添加可执行权限.

kettle 开发总结

- - CSDN博客推荐文章
2.在用file exists 控件的时候，当用到“文本文件输入”时，文本文件中需要一定的格式，类似下图：. ；当然也可以已经创建了相应的表，然后直接按“确定”按钮就行，如果相应的表和输入的列数及列属性不一样时，也可以在sql按钮的语句中取修改. 在使用file exists时，输入也可以用表输入.

Kettle运行日志记录

- - 开源软件 - ITeye博客
原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2173882. 在kettle.properties中，可以定义参数. 来全局设置，记录kettle的job和trans日志，. 记录日志，会进行锁表，在kettle作业非常多的情况下，容易造成表锁，以及队列等待job日志记录的情况严重影响效率.

kettle参数、变量详细讲解

- - CSDN博客数据库推荐文章
kettle参数、变量详细讲解. 1、     variable(变量). variables 也可以认为叫做environment variables , 就像它的名字一样，主要是用来设定环境变量的，比如最常见的：文件的存放地址，smtp的配置等等，你也可以把它认为是编程语言里面的全局变量，即使是不同的转换它们也拥有同样的值；.

基于spring-boot的kettle调度 - 简书

- -
大家好，我是帅气小伙，由于最近公司项目辗转大数据，需要做数据抽取的工作，kettle是目前比较成熟的ETL工具，而传统的kettle客户端在任务调度这方面没有实现，于是在网上寻找开源的kettle调度项目. 专门为kettle这款优秀的ETL工具开发的web端管理工具. 貌似源码跑起来比较费劲，各种缺包，于是我为大家专门整理了一下这个项目.

月饼

- 棉花 - 不许联想
今天下午去楼下倒垃圾，正好遇到收垃圾的一个师傅. 这师傅我认识，五十来岁，河北涞水人. 有几次我到垃圾，正好他在收拾，每次见我过去，便说：“你把垃圾放在这里，我先挑一下.

利用kettle组件导入excel文件到数据库

- - CSDN博客数据库推荐文章
利用kettle组件导入excel文件到数据库.        把excel文件内容导入到目标表中；然后用java调用kettle的转换. excel文件的内容只有两列,示例如下：.        数据库表的结构如下：. 使用oracle函数解决上图黄色行的字段：两个uuid和两个系统日期；. 需要生成uuid，这个在oracle中可以利用SYS_UUID()函数实现；.

Kettle环境变量在ETL工程上的应用

- - 行业应用 - ITeye博客
    好久没更新博文，最近临近离职，事情少了，有空停下来总结总结这段时间的东西.     今天先记录下Kettle环境变量的应用.     一个好的环境变量的使用，在业务变更或者环境变动后，只需要很少工作量的修改即可完成. 我们把变量分成系统环境变量和业务变量，系统环境变量是指那些在ETL中指定的系统级资源配置，如数据库信息、日志文件路径等等，这些变量一旦设定，不会经常变动；业务变量指跟当前ETL执行处理的内容有关，如日期、产品ID等等，跟运行时有关.