oozie调度sqoop脚本时，sqoop中使用的sql查询语句，需要使用以下字符串替换操作符，否则会出现各种诡异的错误： ...
分类：
其他好文 时间：
2018-03-24 18:33:05
阅读次数：
178
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、Sqoop的简介： Sqoop是一个数据采集引擎/数据交换引擎，采集关系型数据库（RDBMS）中的数据，主要用于在RDBMS与HDFS/Hive ...
分类：
数据库 时间：
2018-03-04 19:11:10
阅读次数：
199
一、概述 1.sqoop是什么 从其官网：http://sqoop.apache.org/ Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and str ...
分类：
其他好文 时间：
2018-02-27 15:02:25
阅读次数：
156
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2018-02-23 10:44:33
阅读次数：
205
以前都是使用Sqoop来完成数据从生成的hdfs数据存储上来抽取至oracle的数据库：sqoop抽取语句：sqoopexport--connect"jdbc:oracle:thin:@ip:port:sid"--username用户名--password密码--tablesid.表名--export-dirhdfs://nameservice1/user/XXX(hdfs地址
分类：
数据库 时间：
2018-02-11 16:17:12
阅读次数：
228
1.概念了解 sqoop主要用于hadoop与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如：MYSQL，Oracle，Postgrep等）中的数据导到hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 2.sqoop的安装 ...
分类：
其他好文 时间：
2018-02-02 11:55:45
阅读次数：
199
安装sqoop的前提是已经具备java和hadoop的环境 1.上传并解压 接下来验证启动 Sqoop的数据导入 “导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据） 语法 下面的语法用于 ...
分类：
其他好文 时间：
2018-01-27 00:41:47
阅读次数：
214
利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中。
实例中遇到了一些坑。。。
分类：
数据库 时间：
2018-01-26 17:12:41
阅读次数：
227
