码迷,mamicode.com
首页 > 其他好文 > 详细

sqoop的安装和使用

时间:2018-01-11 20:34:20      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:安装   test   exp   模板   ssi   rac   nbsp   target   文件   

1.下载sqoop

下载地址:http://ftp.wayne.edu/apache/sqoop/1.4.6/

技术分享图片

2.上传,解压

3.配置环境变量

vi /etc/profile

技术分享图片

使环境变量生效:

source /etc/profile

4.配置文件

技术分享图片

4.1 sqoop-env.sh

先将模板复制或重命名

vi sqoop-env.sh

 技术分享图片

4.2 添加mysq jar包

cp apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.45-bin.jar sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

 5.sqoop命令

5.1将hive数据导入mysql

注:

1.先在mysql中建表

2.mysql要授权给yarn子节点

 sqoop export --connect jdbc:mysql://linux1:3306/hive --username root --password oracle --table uv --export-dir /root/app/hadoop/hive/warehouse/hive.db/uv/000000_0 --input-fields-terminated-by ‘\t‘

5.2从mysql导出数据到hdfs

sqoop import –connect jdbc:mysql://linux1:3306/compression –username=hadoop –password=123456 –table uv -m 1
–target-dir /user/test

 5.3从mysql增量导入表数据到hdfs

sqoop import –connect jdbc:mysql://linux1:3306/compression –username=hadoop –password=123456 –table HADOOP_USER_INFO -m 1 –target-dir /user/test  –check-column id –incremental append –last-value 3

 

sqoop的安装和使用

标签:安装   test   exp   模板   ssi   rac   nbsp   target   文件   

原文地址:https://www.cnblogs.com/xiaoaofengyue/p/8269983.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!