用HDFS存储小文件是不经济的，因为每个文件都存在一个block里，每个block的metadata又在namenode的内存里存着，所以，大量的小文件，会吃掉大量的namenode的内存。（注意：一个小文件占用一个block，但是这个block的大小不是设定的值，比如设定每个block是128M，但是一个1M的文件存在一个block里，实际占用的datanode的硬盘大小是1M，而不是128M。...
分类：
其他好文 时间：
2014-10-09 16:58:40
阅读次数：
247
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。...
分类：
其他好文 时间：
2014-10-07 19:00:13
阅读次数：
235
cd/hoperunln-shadoop-0.20.2hadoopln-sjdk1.6.0_21jdkvi/hadoop/conf/hadoop-env.shexportJAVA_HOME=/hoperun/jdkvi/hadoop/conf/core-site.xml<property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>v..
分类：
其他好文 时间：
2014-10-06 23:42:03
阅读次数：
217
overview 文件系统(FS) shell包含各种与HDFS交互的命令，?比如 Local FS, HFTP FS, S3 FS, and other. FS shell 执行通过下面的命令： bin/hdfs dfs <args> 所有的FS shell的可以使用路径URI作为参数。URI的格式...
分类：
其他好文 时间：
2014-10-04 07:04:46
阅读次数：
223
理论基础：Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类：
其他好文 时间：
2014-10-03 01:34:04
阅读次数：
451
有了前面的MultipleOutputs的使用经验，就可以将HDFS输入目录的路径解析出来，组成输出路径，这在业务上是十分常用的。这样其实是没有多文件名输出，仅仅是调用了MultipleOutputs的addNamedOutput方法一次，设置文件名为result.先看pom.xml， 现在参数只有一个输入目录了，输出目录会在该路径后面自动加上/output.<project xmlns="htt...
分类：
其他好文 时间：
2014-10-03 00:03:53
阅读次数：
393
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
首先在网上找了好久没有找到从本地文件系统上传整个目录到hdfs文件系统的程序，权威指南上也没有，都是单个文件上传，所以这里自己编写了一个程序，封装成jar包执行能够复制。先说明一下代码：须要手动输入两个路径，一个本地文件/目录路径，第二个是hdfs目录路径。好直接上代码：import java.io...
分类：
编程语言 时间：
2014-10-02 17:02:53
阅读次数：
186
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以.....
分类：
其他好文 时间：
2014-10-01 17:33:51
阅读次数：
456
