1. MapReduce 与 HDFS 简介 什么是 Hadoop ？ Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文（可在 Google Research 的网站上获得：GFS、MapReduce）。Dou ...
分类：
其他好文 时间：
2017-09-05 00:18:37
阅读次数：
167
hadoop分别从3个角度将主机划分为2种角色 最基本的是Master 和 从HDFS角度，将主机划分为namenode和datanode，在分布式文件系统中，目录管理很重要，管理目录相当于主人 从mapreduce角度，划分为jobtracker和tasktracker（一个job常被划分为多个t ...
分类：
其他好文 时间：
2017-08-29 21:38:45
阅读次数：
162
简介 HDFS（Hadoop Distributed File System ）hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失 ...
分类：
其他好文 时间：
2017-08-06 22:57:04
阅读次数：
150
1.HDFS介绍 HDFS 为了做到可靠性( reliability ) 创建了多份数据块（data blocks）的复制（replicas） ，并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 1.1.HDFS结构 Nam ...
分类：
其他好文 时间：
2017-07-19 01:11:53
阅读次数：
210
MapReduce&HDFS简介一、Hadoop简介: 结构化数据：表,关系型数据库//有严格的约束 半结构化数据：html,json,yaml,有元数据//有约束，缺少严格的约束 非结构化数据：没有预定义的模型,元数据//日志数据等 搜索引擎：搜索组件、索引组件 网络爬虫：爬到的内容多为半结构化或..
分类：
其他好文 时间：
2017-07-03 15:07:36
阅读次数：
173
层层递进-解开hdfs的面纱 1、hdfs是什么？它与普通服务器的文件系统有什么区别？它的特性有什么？ 2、hdfs的工作原理是怎样的？ 3、每台机器都单独启动有什么弊端？假设有1000台机器需要启动？该怎么解决呢？ 4、hdfs配置与使用 5、利用javaApi充当客户端访问hdfs hdfs简介 ...
分类：
其他好文 时间：
2017-05-06 23:07:33
阅读次数：
325
文章介绍了Hadoop2和Hadoop1的区别，对HDFS的构成和功能进行了描述 ...
分类：
其他好文 时间：
2016-10-05 13:17:16
阅读次数：
205
Hadoop学习总结之五：Hadoop的运行痕迹 Hadoop 学习总结之一：HDFS简介 Hadoop学习总结之二：HDFS读写过程解析 Hadoop学习总结之三：Map-Reduce入门 Hadoop学习总结之四：Map-Reduce的过程解析 在使用hadoop的时候，可能遇到各种各样的问题， ...
分类：
其他好文 时间：
2016-08-23 20:25:00
阅读次数：
165
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个 ...
分类：
其他好文 时间：
2016-08-23 20:23:12
阅读次数：
143
【一】HDFS简介HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小 ...
分类：
其他好文 时间：
2016-08-23 18:41:58
阅读次数：
171
