NameNode在启动的时候，需要将Mettadata加载到内存中去，随着集群扩大，元数据的量也随之增加，内存压力过大。Hadoop1.x的缺点和解决办法：单点故障------àHA一主多备内存受限-----àNNFederationHadoop节点之间的通信都是采用心跳机制。元数据放在一片共享区（主NN和备NN共享..
分类：
其他好文 时间：
2016-06-04 18:05:31
阅读次数：
270
MapReduce如何解决负载均衡和数据倾斜：阶段主要出在Map作业结束后，shuffer（洗牌）过程中，如何将map处理后的结果分成多少份，交由Reduce作业，使得每部分reduce作业尽可能均衡处理数据计算。系统默认将partitions按照Hash模运算分割（存储对象的hash值与reduce的个数取模）..
分类：
其他好文 时间：
2016-06-04 18:05:09
阅读次数：
268
1、Hadoop包含一个完整的生态圈 Hive 数据仓库 HDFS 分布式文件系统 MapReduce 并行调度框架 2、MapReduce过程 Mapper和Reduce的入参和出参都是key/value 三、HDFS 1、HDFS性质 2、HDFS数据块 1、磁盘的块一般是512字节，HDFS一 ...
分类：
其他好文 时间：
2016-05-24 01:40:20
阅读次数：
189
1.用VMware建立两台虚拟机（Centos6.5）系统，并设立主机名为node1与node2 2.设置虚拟机网络两台都是设置为如图： 3.修改两台虚拟机的/etc/hosts的文件为 （其中192.168.159.129是node1的IP，192.168.159.130为node2的IP） no ...
分类：
其他好文 时间：
2016-05-22 16:42:53
阅读次数：
187
近期开始大数据的学习，在学习之前给给自己定义了一个大数据学习路线大数据技术学习路线指南一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概..
分类：
其他好文 时间：
2016-05-14 17:12:12
阅读次数：
163
上篇（Hadoop新手学习指导之入门需知）我们介绍了新手学习hadoop的入门注意事项。这篇来谈谈hadoop核心知识学习。 hadoop核心知识学习: hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。 那么下面我们以had ...
分类：
其他好文 时间：
2016-05-03 12:26:47
阅读次数：
122
HDFS系统架构 HDFS以流式数据访问（一次写入，多次读取）模式来存储超大文件，运行于商用硬件集群上。超大文件是指GB,TB,PB的文件。目前已经有存储到PB级别的Hadoop集群了。 计算机字节关系 Hadoop1.x HDFS官方架构图 HDFS中的概念 针对上图来分析HDFS中的各个概念。 ... ...
分类：
其他好文 时间：
2016-04-27 18:53:22
阅读次数：
242
Hadoop是什么？ Hadoop： 适合大数据的分布式存储和计算平台 Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。 Hadoop1.x中包括两... ...
分类：
其他好文 时间：
2016-04-26 19:05:38
阅读次数：
190
hadoop1.2.1文档中这样写： Now check that you can ssh to the localhost without a passphrase:$ ssh localhost If you cannot ssh to localhost without a passphras ...
分类：
其他好文 时间：
2016-04-26 01:58:24
阅读次数：
197
一、前言很以前就搭建过hadoop的伪分布式环境，为了搭建环境特意弄的双系统，还把毕业论文给毁了。不过当时使用的是 hadoop1.x 的，而且因为一些原因，就搭建了环境，而没继续学习了。现在开始，准备好好的学习一下hadoop二、Hadoop 简介
Hadoop 是Apache软件基金会旗下的一个开源分布式计算平台
是云计算中 PaaS(平台即服务)一层的实现
HDFS 和 MapReduce 共...
分类：
编程语言 时间：
2016-04-23 07:35:51
阅读次数：
249
