【甘道夫】Sqoop原生增量导入特性探秘

Argument	Description
--check-column (col)	指定一个“标志列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型（这个很好理解吧）。
--incremental (mode)	指定增量模式，包含“追加模式”  append 和“最后修改模式”  lastmodified （该模式更满足常见需求）。
--last-value (value)	指定“标志列”上次导入的上界。如果“标志列”是最后修改时间，则--last-value为上次执行导入脚本的时间。

---

实验：增量job的创建和执行   

创建增量更新job：

执行Job：

fulong@FBI006:~/Sqoop/sqoop-1.4.4/bin$ ./sqoop job --exec incretest

注意日志中显示的SQL语句：

14/08/27 17:36:23 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(ID), MAX(ID) FROM FBI_SQOOPTEST WHERE ( LASTMODIFIED >= TO_DATE(' 2014/8/27 13:00:00', 'YYYY-MM-DD HH24:MI:SS') AND LASTMODIFIED < TO_DATE(' 2014-08-27 17:36:23', 'YYYY-MM-DD HH24:MI:SS') )

其中， LASTMODIFIED的下界是创建job的语句中指定的，上界是 当前时间 2014-08-27 17:36:23。

验证：

然后我向Oracle中插入一条数据：

 

再执行一次：

fulong@FBI006:~/Sqoop/sqoop-1.4.4/bin$ ./sqoop job --exec incretest

日志中显示的SQL语句：  

14/08/27 17:47:19 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(ID), MAX(ID) FROM FBI_SQOOPTEST WHERE ( LASTMODIFIED >= TO_DATE(' 2014-08-27 17:36:23', 'YYYY-MM-DD HH24:MI:SS') AND LASTMODIFIED < TO_DATE(' 2014-08-27 17:47:19', 'YYYY-MM-DD HH24:MI:SS') )

其中，LASTMODIFIED的下界是上一次执行该job的上界，也就是说，Sqoop的“Saved Jobs”机制对于增量导入类Job，自动记录了上一次的执行时间，并自动将该时间赋值给下一次执行的--last-value参数！也就是说，我们只需要通过crontab设定定期执行该job即可，job中的--last-value将被“Saved Jobs”机制自动更新以实现真正意义的增量导入。

以上Oracle表中新增的数据被成功插入Hive表中。

再次向oracle表中新增一条数据，再次执行该job，情况依旧，日志中显示上一次的上界自动成为本次导入的下界：

14/08/27 17:59:34 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(ID), MAX(ID) FROM FBI_SQOOPTEST WHERE ( LASTMODIFIED >= TO_DATE('2014-08-27 17:47:19', 'YYYY-MM-DD HH24:MI:SS') AND LASTMODIFIED < TO_DATE('2014-08-27 17:59:34', 'YYYY-MM-DD HH24:MI:SS') )