引言：上一篇文章《Sqoop1.4.4 实现将Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表》http://www.linuxidc.com/Linux/2014-09/106282.htm描述了增量更新Hive表的原理和Sqoop，Hive命令，本文基于上一篇...
分类：
系统相关 时间：
2015-09-14 21:04:50
阅读次数：
225
1. 将mysql中的数据导入到hive中sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 --hive-table tb1 ...
分类：
其他好文 时间：
2015-09-11 14:29:31
阅读次数：
154
Sqoop课程笔记 一、概述 1、什么是sqoop？ Hadoop的优势在于对数据的存储和处理，相比以前传统的数据库，在处理较较多的数据时，传统数据行业通过提升单机性能以提高处理性能，而且性价比随着性能提高越来越低，在场景下派生出的大数据行业。 同样的数据处理，hadoop无论是处理的性能和成本都远...
分类：
其他好文 时间：
2015-09-05 19:19:10
阅读次数：
550
安装：1 解压然后把mysql的驱动放在$SQOOP_HOME/lib 目录中2. conf/sqoop-en.shexport HADOOP_COMMON_HOME=/home/hadoop/hadoop/hadoop-2.3.0export HADOOP_MAPRED_HOME=/home/ha...
分类：
其他好文 时间：
2015-09-05 09:50:33
阅读次数：
128
一、mysql中的编码 ? mysql>?show?variables?like?‘collation_%‘;
+----------------------+-------------------+
|?Variable_name?|?Value?|
+----------------------+-------------------+
|?collati...
分类：
数据库 时间：
2015-08-29 17:17:39
阅读次数：
349
一简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。...
分类：
其他好文 时间：
2015-08-26 00:18:37
阅读次数：
229
hive综合hbase两个优势表中的： 1.实现数据导入到MYSQL。 2.实现hbase表转换为另外一张hbase表。三个操作环节： 1.hbase关联hive作为外部表：Sql代码CREATEEXTERNALTABLEhive_device_app(row_keystring,genera_ty...
分类：
数据库 时间：
2015-08-19 12:47:47
阅读次数：
170
1，关于sqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。官网：http://sqoop.apache.org/
一个1.4.6 版本，一个是1.99版本（开发版还没有迁移完成，生产环境不推荐）文档：...
分类：
其他好文 时间：
2015-08-18 19:24:10
阅读次数：
103
#sqoop安装1.常规步骤由于sqoop2配置相对比较麻烦，此次使用的是sqoop1进行演示。上传sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz文件至/hadoop目录下，解压并重命名为sqoop-1.4.4，配置/etc/profile文件并source刷新...
分类：
其他好文 时间：
2015-08-18 17:59:14
阅读次数：
208
SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中1.安装SQOOP1.1先将SQOOP文件放到/usr/local/下1....
分类：
其他好文 时间：
2015-08-17 21:13:27
阅读次数：
130
