一、简介及部分重要参数介绍
Sqoop除了能够将数据从关系型数据库导入到HDFS和Hive中，还能够导入到HBase表中。
--hbase-table：通过指定--hbase-table参数值，指明将数据导入到HBase表中，而不是HDFS上的一个目录。输入表中的每一行将会被转换成一个HBase Put操作的输出表的一行。
--hbase-row-...
分类：
数据库 时间：
2015-01-20 12:08:54
阅读次数：
295
##以上完成后在h3机器上配置sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz//将宿主机上MySql的test库中的users表的数据导入到HDFS，默认Sqoop会起4个Map运行MapReduce进行导入到HDFS，存放在HDFS路径为/user/root/...
分类：
数据库 时间：
2015-01-20 00:49:00
阅读次数：
255
package com.bank.utils;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;impor...
分类：
其他好文 时间：
2015-01-19 23:35:07
阅读次数：
277
1. HDFS体系结构 HDFS支持大文件，以流的方式访问数据，数据分布在数据节点（Data Node），文件的元数据保存在名字节点（Name Node）。名字节点的内存大小，决定了HDFS文件系统可保存的文件数量，所以大量小文件会影响名字节点的性能（尽管名字节点内存都较大）。 1.1 数据块Blo...
分类：
其他好文 时间：
2015-01-19 18:52:14
阅读次数：
280
在开发MapReduce程序的过程中，可以首先在本地文件系统上对程序进行测试，而不是一开始就在HDFS上，这样调试起来更加方便。
以《Hadoop权威指南》上的MaxTemperature程序为例，整个项目中包括如下3个源文件，依次为Mapper程序、Reducer程序和job启动程序：
MaxTemperatureMapper.java，MaxTemperatureReducer...
分类：
其他好文 时间：
2015-01-19 17:19:56
阅读次数：
143
在测试环境和线上运行相同的hql，而且表对应的数据量都是95G左右，但是发现在测试环境和线上的counter：HDFS RAED不一致，而且差一个数量级，线上只有8G左右，而测试环境达到95G，基本上就是全文件扫描，没有体现出RCFile的优势。...
分类：
其他好文 时间：
2015-01-19 00:17:58
阅读次数：
226
1.创建文件夹 private static final String PATH = "hdfs://hadoop:9000/"; private static final String DIR = "/d2"; public static void main(String...
分类：
其他好文 时间：
2015-01-19 00:12:26
阅读次数：
263
一、部分关键参数介绍
参数介绍
--connect 指定关系型数据库JDBC连接字符串
--connection-manager 指定数据库使用的管理类
--driver 手动指定要使用JDBC驱动程序类
--hadoop-mapred-home 重写覆盖$HADOOP_MAPRED_HOME
--help...
分类：
数据库 时间：
2015-01-18 15:50:57
阅读次数：
438
概述
Xendesktop 7.X 以后的版本在架构上发生了改变，从原来的Independent Management Architecture (IMA)架构变成了现在的FlexCast Management Architecture (FMA) ; 原来的IMA 架构下的Zone Data Collector ,Zone Preference Policies , Local Hos...
分类：
移动开发 时间：
2015-01-18 15:48:36
阅读次数：
355
