前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源...
分类：
其他好文 时间：
2015-01-15 12:17:12
阅读次数：
150
HDFS的主要特性 HDFS是基于流数据模式访问和处理超大文件的需求而开发的。HDFS主要特点 概括为以下几点：1.处理超大文件。超大文件通常是指数百MB、甚至数百TB大小的文件。2.检测和快速应对硬件故障。一般的HDFS系统是由数百台甚至上千台服务器组成，因此，故障检测和自动恢复是HDFS的一个....
分类：
其他好文 时间：
2015-01-15 01:38:20
阅读次数：
240
今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lk
importorg.apache.spark.streaming._
/**
*Createdbykaion15/1/14.
*/
objectSparkStreamingTest{
defloadFile():Unit={
valssc=newStrea..
分类：
其他好文 时间：
2015-01-14 18:21:00
阅读次数：
256
1.问题分析
用fsck命令统计 查看HDFS上在某一天日志的大小，分块情况以及平均的块大小，即
分析问题的存在性：从表中可以看出，每天日志量的分块情况：总共大概有268左右的块数，平均块大小为36MB左右，远远不足128MB，这潜在的说明了一个问题。日志产生了很多小文件，大多数都不足128M，严重影响集群的扩展性和性能：首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大...
分类：
其他好文 时间：
2015-01-13 21:44:23
阅读次数：
330
1.创建表注意问题指定字符间隔2.装载数据分两种，从本地文件系统装载和从HDFS中装载，本地装载HDFS装载：几个简单的HDFS命令：创建目录：查看目录：hive： use databasename;show tables;show database;
分类：
其他好文 时间：
2015-01-13 19:26:33
阅读次数：
119
HDFS是hadoop项目的核心子项目，是Hadoop主要的一个分布式文件系统。实际上，hadoop中有一个文件系统抽象，它提供了文件系统实现的各类接口，HDFS只是这个抽象文件系统的一个实例。文件系统 URI JAVA实现定义Localfilefs.LocalFileSystem本地文...
分类：
其他好文 时间：
2015-01-13 01:17:53
阅读次数：
180
HBASE依托于Hadoop的HDFS作为存储基础，因此结构也很类似于Hadoop的Master-Slave模式，Hbase Master Server负责管理所有的HRegion Server，但Hbase Master Server本身并不存储HBASE中的任何数据。HBASE逻辑上的Tabl....
分类：
其他好文 时间：
2015-01-12 23:50:29
阅读次数：
299
HDFS作为Hadoop的核心技术之一，HDFS(Hadoop Distributed File System, Hadoop分布式文件系统)是分布式计算中数据存储管理的基础。具有高容错高可靠性、高可扩展性、高可获得性、高吞吐率等特性。为超大数据集的应用提供了便利。一、设计的前提和目的HDFS是Go...
分类：
其他好文 时间：
2015-01-12 22:29:31
阅读次数：
264
Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选...
分类：
其他好文 时间：
2015-01-12 11:32:39
阅读次数：
217
