码迷,mamicode.com
首页 > 其他好文 > 详细

SQOOP

时间:2015-08-17 21:13:27      阅读:130      评论:0      收藏:0      [点我收藏+]

标签:

SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

1.安装SQOOP

1.1先将SQOOP文件放到/usr/local/下
1.2解压SQOOP
  执行命令:tar -zxvf sqoop-1.4.3.bin_*******
1.3改名字
  执行命令:mv sqoop-1.4.3.bin_******* sqoop
1.4设置环境变量
  执行命令:vi /etc/profile

export SQOOP_HOME=/usr/local/sqoop
export PATH=****:$SQOOP_HOME/bin:******
source /etc/profile

 

1.5操作

  执行命令:cd bin
                 sqoop help
1.6将mysql与SQOOP联系起来,需要将mysql的驱动复制到SQOOP的lib文件下
  执行命令:

cd ..    //退出bin
cp ../hive/lib/mysql-connection-java-5.1.10.jar ./lib/ cd lib/ ls


2.把数据从mysql导入到hdfs(默认是/user/<username>)中
  sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by ‘\t‘ --null-string ‘**‘ -m 1 --append --hive-import
  sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by ‘\t‘ --null-string ‘**‘ -m 1 --append --hive-import --check-column ‘TBL_ID‘ --incremental append --last-value 6

3.把数据从hdfs导出到mysql中
  sqoop export --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by ‘\t‘ --export-dir ‘/ids‘

4.设置为作业,运行作业
  sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by ‘\t‘ --null-string ‘**‘ -m 1 --append --hive-import

5. 导入导出的事务是以Mapper任务为单位。

SQOOP

标签:

原文地址:http://www.cnblogs.com/chamie/p/4737487.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!