分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
分布式文件系统HDFS 分布式文件系统[Distributed File System]概述数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。分布式文件系统特点:是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。通透性。让实际...
分类：
其他好文 时间：
2014-08-08 18:11:06
阅读次数：
245
分布式文件系统HDFS--NameNode体系结构NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中]， 文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中...
分类：
其他好文 时间：
2014-08-08 18:10:26
阅读次数：
198
hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks ...
分类：
编程语言 时间：
2014-08-08 17:52:46
阅读次数：
313
来自：http://heipark.iteye.com/blog/1171923通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotF...
分类：
系统相关 时间：
2014-08-08 17:24:16
阅读次数：
240
1、源码 import?org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import?org.apache.hadoop.io.IOUtils;
import?java.io.InputStream;
import?java.net.URL;
/**
?*?Example?3.1
?*/
public?class?...
1、ANT方式 ? ? ? buid.xml内容： <project?name="TestHadoop"?default="compile"?basedir=".">
????<property?name="build"?location="build"?/>
????<path?id="hadoop-classpath">
????...
分类：
Windows程序 时间：
2014-08-08 13:02:06
阅读次数：
2561
MapReduce
MapReduce is a programming model for data processing. The model is simple, yet not
too simple to express useful programs in. Hadoop can run MapReduce programs written
in various languages...
分类：
其他好文 时间：
2014-08-08 12:44:23
阅读次数：
231
实施Hadoop集群--伪分布式安装准备与配置安装环境 安装虚拟机和linux，虚拟机推荐使用vmware，PC可以使用workstation，服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后自动修改网卡号和ip，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。 以Centos为例，分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类：
其他好文 时间：
2014-08-08 09:40:15
阅读次数：
505
1、安装JDK1.6或更高版本 官网下载JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。2、安装Cygwin Cygwin是Windows平台.....
