当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException:Noroutetohost这种情况网上的解决办法通常是告诉要关闭防火墙，至于关于哪台主机的防火墙并没提。查看日志文件，只说是Noroutetohost没有提端口..
分类：
其他好文 时间：
2015-01-20 18:37:47
阅读次数：
188
首先从flume官网去下载源码
http://flume.apache.org/download.html
下载完之后，解压，首先去除源码中hdfs和hadoop的test依赖
apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml
org.apache.hbase...
分类：
Web程序 时间：
2015-01-20 18:05:28
阅读次数：
210
HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...
分类：
其他好文 时间：
2015-01-20 17:01:44
阅读次数：
170
问题导读：
1、使用Sqoop哪个工具实现多表导入？
2、满足多表导入的三个条件是？
3、如何指定导入HDFS某个目录？如何指定导入Hive某个数据库？
一、介绍
有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中，这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。...
分类：
数据库 时间：
2015-01-20 15:52:47
阅读次数：
302
一、简介及部分重要参数介绍
Sqoop除了能够将数据从关系型数据库导入到HDFS和Hive中，还能够导入到HBase表中。
--hbase-table：通过指定--hbase-table参数值，指明将数据导入到HBase表中，而不是HDFS上的一个目录。输入表中的每一行将会被转换成一个HBase Put操作的输出表的一行。
--hbase-row-...
分类：
数据库 时间：
2015-01-20 12:08:54
阅读次数：
295
##以上完成后在h3机器上配置sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz//将宿主机上MySql的test库中的users表的数据导入到HDFS，默认Sqoop会起4个Map运行MapReduce进行导入到HDFS，存放在HDFS路径为/user/root/...
分类：
数据库 时间：
2015-01-20 00:49:00
阅读次数：
255
package com.bank.utils;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;impor...
分类：
其他好文 时间：
2015-01-19 23:35:07
阅读次数：
277
1. HDFS体系结构 HDFS支持大文件，以流的方式访问数据，数据分布在数据节点（Data Node），文件的元数据保存在名字节点（Name Node）。名字节点的内存大小，决定了HDFS文件系统可保存的文件数量，所以大量小文件会影响名字节点的性能（尽管名字节点内存都较大）。 1.1 数据块Blo...
分类：
其他好文 时间：
2015-01-19 18:52:14
阅读次数：
280
在开发MapReduce程序的过程中，可以首先在本地文件系统上对程序进行测试，而不是一开始就在HDFS上，这样调试起来更加方便。
以《Hadoop权威指南》上的MaxTemperature程序为例，整个项目中包括如下3个源文件，依次为Mapper程序、Reducer程序和job启动程序：
MaxTemperatureMapper.java，MaxTemperatureReducer...
分类：
其他好文 时间：
2015-01-19 17:19:56
阅读次数：
143
在测试环境和线上运行相同的hql，而且表对应的数据量都是95G左右，但是发现在测试环境和线上的counter：HDFS RAED不一致，而且差一个数量级，线上只有8G左右，而测试环境达到95G，基本上就是全文件扫描，没有体现出RCFile的优势。...
分类：
其他好文 时间：
2015-01-19 00:17:58
阅读次数：
226
