安装前准备
1. 虚拟机3个，安装Centos 6.5， 内存设置为4GB
2. 配置yum源为163（不配置，在安装软件时，慢的要死）
3. 关闭防火墙( iptables)，disabled SELinux
4. 配置静态IP，并在/etc/hosts中将Hadoop集群中的主机名加进去
安装
1. 在Cloudera官网上下载 cloudera-manager-i...
分类：
其他好文 时间：
2014-08-09 00:12:07
阅读次数：
313
把本地文件上传到hadoop的hdfs-over-ftp...
分类：
其他好文 时间：
2014-08-08 21:22:26
阅读次数：
303
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
分布式文件系统HDFS 分布式文件系统[Distributed File System]概述数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。分布式文件系统特点:是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。通透性。让实际...
分类：
其他好文 时间：
2014-08-08 18:11:06
阅读次数：
245
分布式文件系统HDFS--NameNode体系结构NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中]， 文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中...
分类：
其他好文 时间：
2014-08-08 18:10:26
阅读次数：
198
hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks ...
分类：
编程语言 时间：
2014-08-08 17:52:46
阅读次数：
313
来自：http://heipark.iteye.com/blog/1171923通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotF...
分类：
系统相关 时间：
2014-08-08 17:24:16
阅读次数：
240
1、源码 import?org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import?org.apache.hadoop.io.IOUtils;
import?java.io.InputStream;
import?java.net.URL;
/**
?*?Example?3.1
?*/
public?class?...
1、ANT方式 ? ? ? buid.xml内容： <project?name="TestHadoop"?default="compile"?basedir=".">
????<property?name="build"?location="build"?/>
????<path?id="hadoop-classpath">
????...
分类：
Windows程序 时间：
2014-08-08 13:02:06
阅读次数：
2561
MapReduce
MapReduce is a programming model for data processing. The model is simple, yet not
too simple to express useful programs in. Hadoop can run MapReduce programs written
in various languages...
分类：
其他好文 时间：
2014-08-08 12:44:23
阅读次数：
231
