一、软件版本Centos6.5、VMware 10CDH5.2.0（Hadoop 2.5.0）Hive-0.13 sqoop-1.4.5 二、学完课程之后，您可以：①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监控。②、玩转Mapreduce编程；③、玩转Hive使用④、玩转Sq ...
分类：
其他好文 时间：
2018-09-09 12:04:04
阅读次数：
193
最近刚搭建的Hadoop集群（CM），发现在通过sqoop导入数据使整个集群当中的磁盘都快占满了。这个时候考虑到需要对集群当中数据的副本数进行修改（由原来的3个副本修改为现在的1个副本） 然后我们在对之前到如到HDFS上面的文件进行重新设置副本数。命令如下： 然后我们使用CM对集群当中的资源进行平衡 ...
分类：
其他好文 时间：
2018-09-07 19:13:20
阅读次数：
883
1. HADOOP背景介绍 1.1 什么是HADOOP Hadoop hive hbase flume kafka sqoop spark flink ……. 1.2 HADOOP产生背景 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网 ...
分类：
其他好文 时间：
2018-09-05 11:39:05
阅读次数：
195
Hive/Hbase/Sqoop的安装教程 HIVE INSTALL 1.下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/2.上传到Linux指定目录，解压： ### 安装目录为：/app/hive/apache-h ...
分类：
其他好文 时间：
2018-08-28 20:19:00
阅读次数：
178
大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm ...
分类：
其他好文 时间：
2018-08-25 14:28:06
阅读次数：
149
hdfs到MySQL csv/txt文件到hdfs MySQL到hdfs hive与hdfs的映射： stored as 关键词，hive目前支持三种方式:1:就是最普通的textfile，数据不做压缩，磁盘开销大，解析开销也大2:SquenceFIle,hadoop api提供的一种二进制API方 ...
分类：
数据库 时间：
2018-08-12 20:15:11
阅读次数：
220
1.八爪鱼，抓取数据 2.八爪鱼数据导入mysql（navicat连的虚拟机上的），表为an 3.给定mysql的表an自增id 4.开启hadoop，yarn， 5.利用sqoop导入mysql的表an sqoop import --connect jdbc:mysql://192.168.218 ...
分类：
其他好文 时间：
2018-07-28 00:18:50
阅读次数：
167
Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具，它可以将关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Kafka是一个开源的分布式消息订阅系统 一、Sqoop的安装 1.http://www-eu.apache.org/d ...
分类：
其他好文 时间：
2018-07-23 16:26:51
阅读次数：
221
最近在使用sqoop往hdf上导入数据时，报出下面的错误： 网上找了很多资料，发现有一种可以解决 1. 你得确定你得确定你得sqoop可以连接你的linux上面的mysql数据库 2. 你得配置好sqoop的环境，确保可以连接hdoop, 进入sqoop的安装目录，进入bin目录，运行 Export ...
分类：
编程语言 时间：
2018-07-21 14:34:42
阅读次数：
238
解压缩:tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar 重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 配置环境变量 export SQOOP_HOME=/data/bigdata/sqoop export PATH=$SQ ...
分类：
其他好文 时间：
2018-07-20 16:41:32
阅读次数：
145
