Yarn包括resourcemanager和datamanagerHdfs包括namenode和datanode这两个服务启动了，就可以跑mapreduce程序了
分类：
其他好文 时间：
2016-02-11 18:07:22
阅读次数：
145
前言最近在CSDN的首页上看到了hadoop十周年的文章,不禁感慨这真是一个伟大的系统啊.在这十年间,hadoop自身进行了许多演化和大的改变,而在其下,也孵化出了许多子项目,围绕着hadoop的生态圈现在变得越来越丰富了.所以作为一个出色的分布式系统,他有很多地方值得我们学习,最近本人在研究DataXceiver方面的代码,此篇文章算是这几天学习的一个总结吧.为什么选择学习DataXceiver...
分类：
其他好文 时间：
2016-02-02 15:13:43
阅读次数：
323
假设集群操作系统均为：CentOS 6.7 x64 Hadoop版本为：2.6.3 一、动态增加DataNode 1、准备新的DataNode节点机器，配置SSH互信，可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2、复制Hadoop运行目录、hdf
分类：
其他好文 时间：
2016-02-01 01:49:26
阅读次数：
226
首先来看一下HDFS的结构，如下图： 如上图，在HDFS架构中，NameNode是职责是管理元数据信息，DataNode的职责是负责数据存储，那么SecondaryNameNode的作用是什么呢？ 其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案，下面我们来看
分类：
其他好文 时间：
2016-01-31 21:20:15
阅读次数：
222
在CentOS 6.7 x64上搭建Hadoop 2.6.3完全分布式环境，并在DigitalOcean上测试成功。 本文假设： 主节点（NameNode）域名（主机名）：m.fredlab.org 子节点（DataNode）域名（主机名）：s1.fredlab.org s2.fredlab.org
分类：
其他好文 时间：
2016-01-29 03:11:03
阅读次数：
154
1 应用场景 这篇来说下mycat中自带的er关系分片，所谓er关系分片即可以理解为有关联关系表之间数据分片。类似于订单主表与订单详情表间的分片存储规则。 本文所说的er分片分为两种： a. 依据主键进行数据分片，验证发现主表数据保存在第1个datanode中，子表数据根据分片规则存储。 b. 依据
分类：
其他好文 时间：
2016-01-29 00:14:38
阅读次数：
3936
在启动Hadoop分布式部署的过程中，发现datanode没有正常启动，查看了一下日志发现报错：java.io.IOException: Incompatible clusterIDs in /opt/hadoop-2.5/dfs/data: namenode clusterID = CID-adf...
分类：
其他好文 时间：
2016-01-23 23:03:41
阅读次数：
224
一、准备条件：1.四台Linux虚拟机(1台NameNode节点，1台Secondary节点（Secondary和其中1台DataNode共用），外加2台DataNode)2.下载Hadoop版本，本例使用Hadoop-2.5.2版本二、安装Java JDK最好安装，JDK 1.7 因为JDK 1....
分类：
其他好文 时间：
2016-01-22 21:45:16
阅读次数：
189
前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节点,这么多块盘,HDFS在进行写操作时如何进行有效的磁盘选择呢,选择不当必然造成写性能下降,从而影响集群整体的性能.本文来讨论一下目前HDFS中存在的几个磁盘选择策略的特点和不足,然后针对...
分类：
其他好文 时间：
2016-01-19 10:49:28
阅读次数：
239
一、需求公司线上运行有hadoop1.0和hadoop2.0，由于hadoop1.0没有处理jobtracker失败机制，它是一个单点故障，但业务还是以1.0为主，会慢慢过渡到2.0。以下我将以公司目前环境把写1.0部署步聚写出来二、知识点储备1、hadoop中NameNode、DataNode、Secondary、NameNode、JobTrac..
分类：
其他好文 时间：
2016-01-08 00:39:43
阅读次数：
221
