首先，今天是羊年初一。祝看到这篇博文的朋友们新春快乐！身体健康！心想事成！万事胜意！ 言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程，同时MR有JobTrack...
分类：
其他好文 时间：
2015-02-19 17:28:09
阅读次数：
256
参考资料：http://os.51cto.com/art/201211/364374.htm上边这是个结构概览吧。默认情况下，一个file被分成很多个block，每个block被分配到两个rack（机架）的共3个DataNode上，也就是有两个备份。在NameNode保存了每个block对应的Dat...
分类：
其他好文 时间：
2015-02-17 14:03:20
阅读次数：
219
部分目录：
1，初始Hadoop
2，关于MapReduce
3，Hadoop分布式文件系统
HDFS 文件系统。
4，Hadoop I/O
5，MapReduce应用开发
6，MapReduce的工作机制
7，MapReduce的类型与格式
8，MapReduce 的特性
9，构建 Hadoop 集群
10，管理 Hadoop
11，Pig简介
Pig Latin 描述...
分类：
其他好文 时间：
2015-02-13 20:01:07
阅读次数：
183
Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。Tachyon是架构在最底层的分布式文件系统和上层的各种计算框架之间的一种中间件，其主要职责是将那些不需要落地到D...
分类：
其他好文 时间：
2015-02-11 23:27:01
阅读次数：
695
Hadoop学习笔记(6) ——重新认识Hadoop 之前，我们把hadoop从下载包部署到编写了helloworld，看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce， DFS可以理解为一个分布式文件系统，存储而已，所以这里暂时就不深入研...
分类：
其他好文 时间：
2015-02-11 23:13:40
阅读次数：
341
1.FastDFS简介 (1)FastDFS的功能介绍 FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 (2)FastDFS的工作...
分类：
其他好文 时间：
2015-02-07 11:38:21
阅读次数：
285
Hadoop是Apache Lucene创始人Doug Cutting创建的，Hadoop起源于Apache Nutch，一个开源的网络搜索引擎。最先引起注意是2003年google的一篇论文，该论文实现了谷歌分布式文件系统，也就是GFS，2004年，他们开始着手实现一个开源的实现，也就是HDFS,...
分类：
其他好文 时间：
2015-02-04 23:15:13
阅读次数：
309
Apache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。 HDFS： 如果您...
分类：
其他好文 时间：
2015-02-04 21:35:46
阅读次数：
144
如果说事务控制在数据库中是有时候用到，在普通的文件系统中是偶尔要处理。那么在分布式文件系统中，事务控制是每一个数据操作都要关注的内容。当然，有很多的现成的系统给我们提供了很多的资源。
分布式文件系统是一个快速发展的概念，目前还没有形成类似ORACLE在数据库中的地位，因此，关于这块，参考了一些网络上的内容，泛泛而谈。Hadoop分布式文件系统(HDFS)在JAVA环境中使用相对比较多，用自己的半...
分类：
其他好文 时间：
2015-02-04 18:46:14
阅读次数：
125
分布式文件系统的实现 1 配置数据库节点node5(172.16.21.5) Mysql的cmake编译与安装，详细步步骤参照我的"Mysql的cmake编译与安装博文" [root@node5 ~]# mysql MariaDB [(none)]> create database mogilefs...
分类：
其他好文 时间：
2015-02-03 22:32:54
阅读次数：
353
