软件版本：Hadoop：2.6.0； Mahout：1.0（自行编译，只使用了两个jar文件）；Spring：4.0.2；Struts：2.3；Hibernate：4.3；jQuery EasyUI ：1.3.6；MySql：5.6；浏览器：chrome；MyEclipse：10.0；Hadoop平台配置：node1: NameNode/ResourceManger/DataNode/NodeM...
分类：
其他好文 时间：
2015-03-11 01:58:18
阅读次数：
146
1. 安全模式HDFS 刚刚启动时，NameNode 会进入安全模式（safe mode）。处于安全模式的NameNode不能做任何的文件操作，甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信，获得DataNode 保存的数据块信息，并对数据块信息进行检查。只有...
分类：
其他好文 时间：
2015-03-11 00:28:42
阅读次数：
144
读取文件：
下图是HDFS读取文件的流程：
这里是详细解释：
1.当客户端开始读取一个文件时，首先客户端从NameNode取得这个文件的前几个block的DataNode信息。（步骤1,2）
2.开始调用read()，read()方法里，首先去读取第一次从NameNode取得的几个Block，当读取完成后，再去NameNode拿下一批Block的...
分类：
其他好文 时间：
2015-03-09 22:35:35
阅读次数：
209
概念：
HDFS会把一个很大的文件分块（与传统的文件系统类似），存放在不同的DataNode上。不过这个块是个逻辑概念，比较大，默认是64M。
Hadoop以“管理者-工作者”模式运行。NameNode就是管理者，它保存了文件系统中所有文件以及目录信息。也记录了每个文件的分块信息。但这些分块具体在哪些机器上存储则由DataNode自己上报。
容错:
NameNode的容错：
所有的文...
分类：
其他好文 时间：
2015-03-09 22:33:56
阅读次数：
267
hadoop2对比hadoop1 1、体系结构 HDFS+MapReduce,共同点都是分布式的，主从关系结构。 HDFS=一个NameNode+多个DataNode, NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。 缺点：（1）当...
分类：
其他好文 时间：
2015-03-08 20:01:09
阅读次数：
138
为什幺要压缩？压缩会提高计算速度？这是因为mapreduce计算会将数据文件分散拷贝到所有datanode上，压缩可以减少数据浪费在带宽上的时间，当这些时间大于压缩/解压缩本身的时间时，计算速度就会提高了。 hadoop的压缩除了将输入文件进行压缩外，hadoop本身还可以在计算过程中将map输出以...
分类：
其他好文 时间：
2015-03-05 22:14:49
阅读次数：
139
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：root安装系统要求：需要先安装JDK7或者以上版本，推荐JDK7U55或者以后版本。二，安装JDK7安装JDK7U55或者以上版本。这里安装JDK1.7.0_75。下载...
分类：
其他好文 时间：
2015-03-05 18:39:25
阅读次数：
246
Hadoop是适合大数据的分布式存储与计算平台 HDFS的架构：主从式结构 主节点只有一个NameNode，从节点可以有很多个DataNode。 NameNode负责： (1)接收用户操作请求 (2)维护文件系统的目录结构 (3)管理文件与block之间关系，block与DataNode之间联系 D...
分类：
其他好文 时间：
2015-03-04 16:19:21
阅读次数：
140
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da...
分类：
其他好文 时间：
2015-03-04 09:47:45
阅读次数：
142
一，安装环境硬件：虚拟机操作系统：Centos 6.4 64位IP：10.51.121.10主机名：datanode-4安装用户：root二，安装JDK安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。下载地址：http://www.oracle.com/technetwork/java...
分类：
其他好文 时间：
2015-03-02 19:04:48
阅读次数：
200
