1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTra...
分类：
其他好文 时间：
2015-04-16 21:20:31
阅读次数：
251
参照Apache的官方文档，Hadoop2还是蛮好搭建的，但是搭建好后，MapReduce的JobHistory页面却没法进去，这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程，并给出配置文档，让你不再为搭建这些过程烦恼。准备
安装程序获取：从官网上下载，从Apache Download Mirrors选择一个镜像位置，然后选择一个Hadoop版本，下载h...
分类：
其他好文 时间：
2015-04-15 13:35:42
阅读次数：
104
1.概述 在完成分析Hadoop2源码的准备工作后，我们进入到后续的源码学习阶段。本篇博客给大家分享，让大家对Hadoop V2有个初步认识，博客的目录内容如下所示：Hadoop的渊源Hadoop V2部分项目图各个包的功能介绍 本篇文章的源码是基于Hadoop-2.6.0来分析，其他版本的Ha.....
分类：
其他好文 时间：
2015-04-15 13:18:03
阅读次数：
185
注意：以下安装步骤在Centos6.5操作系统中进行，安装步骤同样适于其他操作系统，如有同学使用Ubuntu等其他Linux操作系统，只需注意个别命令略有不同。 注意一下不同用户权限的操作，比如关闭防火墙，需要用root权...
分类：
其他好文 时间：
2015-04-14 13:08:45
阅读次数：
154
1、NAME NODE HA2、NAME NODE Federation3、HDFS 快照（目录快照）4、HDFS 缓存5、HDFS ACL6、异构层级存储结构----------------------------------------------------------------------...
分类：
其他好文 时间：
2015-04-14 11:09:22
阅读次数：
122
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-04-13 22:24:18
阅读次数：
392
一、环境准备
1、安装jdk、maven等
2、下载hadoop源代码，并解压
3、将tools.jar复制到Classes中，具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment
cd $JAVA_HOME
mkdir Classes
cp lib/tools.jar Classe...
分类：
系统相关 时间：
2015-04-12 10:42:35
阅读次数：
200
1.概述 我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我们接着往后面去研究学习，那就是Hadoop的源码了，作为Hadoop开发人员....
分类：
其他好文 时间：
2015-04-12 01:20:23
阅读次数：
166
HBaseHBase 基础知识Hbase原理、基本概念、基本架构HBase下Region server步骤在Master Server上停掉Regon Servermaintain 用户登录cd /home/maintain/hadoop/hbase-0.98.6-hadoop2/bin./bin/...
分类：
其他好文 时间：
2015-04-09 19:11:56
阅读次数：
208
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和...
分类：
其他好文 时间：
2015-04-07 17:20:57
阅读次数：
175
