注意：本文只讲Sqoop1.4.6的安装。和hive一样，sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1，hadoop2.8.0的安装请参考博文： http://blog.csdn.net/pucao_cug/ ...
分类：
其他好文 时间：
2017-11-04 11:09:51
阅读次数：
870
一、Sqoop基础：连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据移动渐渐变成一 ...
分类：
其他好文 时间：
2017-11-03 13:00:48
阅读次数：
189
这个错误的原因是指定Hive中表字段之间使用的分隔符错误，供Sqoop读取解析不正确。如果是由hive执行mapreduce操作汇总的结果，默认的分隔符是 '\001'，否则如果是从HDFS文件导入的则分隔符则应该是'\t'。此处我是hive执行mapreduce分析汇总的结果，所以默认的分隔是'\ ...
分类：
数据库 时间：
2017-11-01 20:31:59
阅读次数：
283
sqoop产生背景 什么是sqoop sqoop的优势 sqoop1与sqoop2的比较 为什么选择sqoop1 sqoop在hadoop生态体系中的位置 sqoop基本架构 sqoop import原理 sqoop import 详细流程 sqoop export原理 sqoop 安装部署 sqo ...
分类：
其他好文 时间：
2017-10-29 18:46:36
阅读次数：
174
目标是第二年能得到8K以上的待遇。 要求熟练使用Hadoop生态圈技术（hive,hbase,spark,impala,sqoop,scala/python/shell,kafka,flume,gobblin,hdfs,zookeeper），然后是能树仓，精通sql的调优，会算法。 不会的有点多哈。 ...
分类：
其他好文 时间：
2017-10-24 17:21:39
阅读次数：
209
Sqoop导出笔记 发表: 2016-10-14 浏览: 755 Sqoop导出笔记 发表: 2016-10-14 浏览: 755 Sqoop 导出 Sqoop导出笔记 1、 通用参数 2、导出控制参数 3、全表导出 4、更新导出 注：若需转载，请注明出处！ Sqoop导出视频请参考：https:/ ...
分类：
其他好文 时间：
2017-10-24 11:39:07
阅读次数：
139
1、离线计算是什么？ 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度平台 3、Hadoop集群运维 4、数据清洗（脚本语言） ...
分类：
其他好文 时间：
2017-10-19 00:18:55
阅读次数：
282
下载http://www-us.apache.org/dist/sqoop/打开以上链接，开始下载sqoop2下载后得到：sqoop-1.99.7-bin-hadoop200.tar.gz文件其中sqoop1和sqoop2区别可以参考以下链接重拾初心——Sqoop1和Sqoop2的刨析对比http:... ...
分类：
其他好文 时间：
2017-10-17 19:00:18
阅读次数：
291
准备 本示例将实现从MySQL数据库中将数据导入到HDFS中 参考文档： http://sqoop.apache.org/docs/1.99.7/user/Sqoop5MinutesDemo.html http://blog.csdn.net/m_signals/article/details/53 ...
分类：
数据库 时间：
2017-10-17 18:45:08
阅读次数：
330
在hive的官方文档中给的例子中字段分隔符是\001,但是在他的API文档中--hive-delims-replacement ，--hive-drop-import-delims 参数中会处理的字符是\0x01,一个时8进制的1，一个是16进制的1，有这么一点差别，lz为了确认这两个是否一样故做了 ...
分类：
其他好文 时间：
2017-10-16 02:04:04
阅读次数：
315
