1. Logstash概述 Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。 Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop ...
分类：
其他好文 时间：
2018-06-23 00:07:45
阅读次数：
296
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让
分类：
其他好文 时间：
2018-06-22 16:28:04
阅读次数：
134
Sqoop Export数据到本地数据库时出现错误，命令如下： 错误日志如下： 该错误的问题在于分隔符，因为您没有在配置单元表中指定分隔符，默认的配置单元分隔符是： '\ 001'字段终止 '\ 002'的收藏品终止 '\ 003'终止的地图密钥 LINES终止于'\ n' 所以要解决问题，就需要更 ...
分类：
数据库 时间：
2018-06-21 22:30:07
阅读次数：
665
环境下载 首先将下载的 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz放到 /usr/hadoop/目录下（该目录可以自定义，一般为Hadoop集群安装目录），然后对安装包解压、修改文件名和修改用户权限。 环境配置 1.配置hadoop版本号 切换到/sqoop ...
分类：
其他好文 时间：
2018-06-21 13:48:48
阅读次数：
169
sqoop将mysql数据表导入到hive报错 网上说是MySQL驱动包的问题下，需要更换驱动包：“原有的jar包是mysql-connector-java-5.1.17.jar，替换成mysql-connector-java-5.1.32-bin.jar，可以使用了” 亲测不行 运行起来还是没有能 ...
分类：
数据库 时间：
2018-06-21 11:29:09
阅读次数：
408
下载安装包：http://archive.apache.org/dist/sqoop/1.4.6/ 查看本机java版本 上传 查看 解压 查看 命名 删除 由于下载的是apache下面的 需要源码编译 找到hadoop版本 找到200 配置环境变量 进入配置文件 操作hadoop 配置环境变量 配 ...
分类：
其他好文 时间：
2018-06-20 21:32:15
阅读次数：
161
sqoop Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。这节课我们将详细介绍 Sqoop 这个工具。 Sqoop 产生背景 Sqoop 的产生主要源于以下几种需求： 1、多数使用 ...
分类：
其他好文 时间：
2018-06-20 18:48:31
阅读次数：
229
一、先将mysql一张表的数据用sqoop导入到hdfs 1.1、先在mysql中准备一张测试用的表 下面 将 user_info表中的前100条数据导 导出来 只要id user_name和 age 这3个字段，数据存在hdfs 目录 /tmp/sqoop/user_info下。 ...
分类：
数据库 时间：
2018-06-19 23:25:20
阅读次数：
324
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 （1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到 ...
分类：
其他好文 时间：
2018-06-19 23:24:20
阅读次数：
303
1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支，各最新版本是什么?sqoop1：1.4.7sqoop2：1.99.73.在工作中我们用的最多的是sqoop1，那么导入和导出，谁给谁的导入是RDBMS到Hadoop导出是Hadoop到RDBMS4.假如输入一个命令找不到notfound，你们觉得该怎么办?（老生常谈）先看打错了没有，再看PATH有
分类：
其他好文 时间：
2018-06-11 14:50:58
阅读次数：
121
