搜索结果
"tag:"etl""
| 标题及摘要 | 日期/时间 | |
|---|---|---|
|
1
|
kettle中通过 时间戳（timestamp）方式 来实现数据库的增量同步操作（一） - Armin - 博客园
这个实验主要思想是在创建数据库表的时候， 通过增加一个额外的字段，也就是时间戳字段， 例如在同步表 tt1 和表 tt2 的时候， 通过检查那个表是最新更新的，那个表就作为新表，而另外的表最为旧表被新表中的数据进行更新。 实验数据如下： mysql database 5.1 test.tt1( id int primary key , name varchar(50) ); mysql.tt2( id int primary key, name varchar(50) ); 快照表，可以将其存放在tes... |
2014-8-25 19:34:00 |
|
2
|
开源ETL工具kettle系列之增量更新设计技巧 - 技术门户 | ITPUB |
ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也有一些帮助。本文不可能涵盖所有的情况，欢迎大家讨论。 应用场景 增量更新按照数据种类的不同大概可以分成： 1.只增加，不更新， 2.只更新，不增加 3.即增加也更新 4.有删除，有增加，有更新 其中1 ，2， 3种大概都是... |
2014-8-25 19:33:00 |