一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的...
分类：
其他好文 时间：
2015-01-15 17:36:36
阅读次数：
224
shell脚本--linux终端运行hadoop--java文件假设保存为test.sh,java文件为wc.java,【注：会打包成1.jar】,main函数所在类为wc,hdfs上输入目录地址为input，hdfs上输出目录地址为output【注：输入目录和输出目录非必须】 www.ahlinu...
分类：
系统相关 时间：
2015-01-15 12:36:48
阅读次数：
175
前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源...
分类：
其他好文 时间：
2015-01-15 12:17:12
阅读次数：
150
HDFS的主要特性 HDFS是基于流数据模式访问和处理超大文件的需求而开发的。HDFS主要特点 概括为以下几点：1.处理超大文件。超大文件通常是指数百MB、甚至数百TB大小的文件。2.检测和快速应对硬件故障。一般的HDFS系统是由数百台甚至上千台服务器组成，因此，故障检测和自动恢复是HDFS的一个....
分类：
其他好文 时间：
2015-01-15 01:38:20
阅读次数：
240
今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lk
importorg.apache.spark.streaming._
/**
*Createdbykaion15/1/14.
*/
objectSparkStreamingTest{
defloadFile():Unit={
valssc=newStrea..
分类：
其他好文 时间：
2015-01-14 18:21:00
阅读次数：
256
1.问题分析
用fsck命令统计 查看HDFS上在某一天日志的大小，分块情况以及平均的块大小，即
分析问题的存在性：从表中可以看出，每天日志量的分块情况：总共大概有268左右的块数，平均块大小为36MB左右，远远不足128MB，这潜在的说明了一个问题。日志产生了很多小文件，大多数都不足128M，严重影响集群的扩展性和性能：首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namenode大...
分类：
其他好文 时间：
2015-01-13 21:44:23
阅读次数：
330
Apps that include an arm64 architecture are required to include an armv7
遇到上面的报错：首先编译的时候，把真机拔掉就可以了~
如果还不行的话：Build Active Architecture Only 里面的Release 设置为NO就好了~...
分类：
移动开发 时间：
2015-01-13 19:55:02
阅读次数：
222
1.创建表注意问题指定字符间隔2.装载数据分两种，从本地文件系统装载和从HDFS中装载，本地装载HDFS装载：几个简单的HDFS命令：创建目录：查看目录：hive： use databasename;show tables;show database;
分类：
其他好文 时间：
2015-01-13 19:26:33
阅读次数：
119
HDFS是hadoop项目的核心子项目，是Hadoop主要的一个分布式文件系统。实际上，hadoop中有一个文件系统抽象，它提供了文件系统实现的各类接口，HDFS只是这个抽象文件系统的一个实例。文件系统 URI JAVA实现定义Localfilefs.LocalFileSystem本地文...
分类：
其他好文 时间：
2015-01-13 01:17:53
阅读次数：
180
