码迷,mamicode.com
首页 > 其他好文 > 详细

1.11-1.12 Sqoop导入数据时两种增量方式导入及direct

时间:2019-05-06 19:26:43      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:ble   order   bin   password   name   导入数据   create   map   imp   

一、增量数据的导入

1、两种方式

## query
有一个唯一标识符,通常这个表都有一个字段,类似于插入时间createtime    
where createtime => 20150924000000000 and createtime < 20150925000000000


##sqoop参数
Incremental import arguments:
   --check-column <column>            Source column to check for incremental change
   --incremental <import-type>        Define an incremental import of type ‘append‘ or ‘lastmodified‘
   --last-value <value>                   Last imported value in the incremental check column


2、用sqoop参数增量导入的方式

##
bin/sqoop import --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test --username root --password 123456 --table my_user --target-dir /user/root/sqoop/imp_my_incr --num-mappers 1 --incremental append --check-column id --last-value 4  


#--incremental append       //追加方式
#--check-column        //检查的字段
#--last-value        //最后的值,不包含这个值,从这个值后面的开始导入


##
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -text /user/root/sqoop/imp_my_incr/part-m-00000
5,test,test
6,pudong,pudong
7,qiqi,qiqi


二、direct参数

直接导出模式(优化速度);

使用的是关系数据库自带的导入导出工具;

##
bin/sqoop import --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test --username root --password 123456 --table my_user --target-dir /user/root/sqoop/imp_my_incr --num-mappers 1 --delete-target-dir --direct

1.11-1.12 Sqoop导入数据时两种增量方式导入及direct

标签:ble   order   bin   password   name   导入数据   create   map   imp   

原文地址:https://www.cnblogs.com/weiyiming007/p/10821223.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!