1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷..
分类：
其他好文 时间：
2016-10-29 16:45:23
阅读次数：
251
原 Hadoop MapReduce 框架的问题 原hadoop的MapReduce框架图 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路： 可以看得出原来的 map-reduce 架构是简单明了的，在最初推出的几年，也得到了众多的成功案例，获得业界广泛的支持和肯定，但随着分布式 ...
分类：
其他好文 时间：
2016-10-29 11:44:28
阅读次数：
236
本文将介绍HA机制的原理，以及Hadoop2 HA配置过程。 ———————————————————————————————————————————————————————————————————— HA机制的原理 HA中有两个NameNode：Active NameNode和Standby Nam ...
分类：
其他好文 时间：
2016-10-28 23:06:39
阅读次数：
302
FAST, RELIABLE, AND SECURE DEPENDENCY MANAGEMENT. 就在昨天， Facebook 发布了新的 node.js 包管理器 Yarn 用以替代 npm 。咱虽然是个半桶水的咸鱼前端，不过也得跟上 Javascript 这股潮 (hong) 流 (huang ...
分类：
Web程序 时间：
2016-10-28 03:30:18
阅读次数：
403
Zeppelin默认自带本地spark，可以不依赖任何集群，下载bin包，解压安装就可以使用。 使用其他的spark集群在yarn模式下。 配置： 添加： Zeppelin Interpreter配置 注意：设置完重启解释器。 新建Notebook Tips：几个月前zeppelin还是0.5.6， ...
分类：
其他好文 时间：
2016-10-27 13:22:59
阅读次数：
737
配置Spark standalone HA 主机：node1,node2,node3 master: node1,node2 slave:node2,node3 修改配置文件： node1,node3: spark-env.sh node2: spark-env.sh node2与node1的差别仅 ...
分类：
其他好文 时间：
2016-10-26 00:01:59
阅读次数：
232
TheResourceManager(RM)isresponsiblefortrackingtheresourcesinacluster,andschedulingapplications(e.g.,MapReducejobs).PriortoHadoop2.4,theResourceManageristhesinglepointoffailureinaYARNcluster.TheHighAvailabilityfeatureaddsredundancyintheformofanActive/Standby..
分类：
其他好文 时间：
2016-10-23 21:20:55
阅读次数：
269
一、部分概念 二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台1节点运行一个Hadoop系统) 1. 做好规划: 1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置 比如:我将要运行的服务有hdfs,yarn,mapreduce,secondary ...
分类：
其他好文 时间：
2016-10-21 19:08:38
阅读次数：
258
hadoop2提交到Yarn： JOB提交过程 http://www.aboutyun.com/forum.php?mod=viewthread&tid=9366&highlight=hadoop2%CC%E1%BD%BB%B5%BDYarn hadoop2提交到Yarn： Map执行过程 http ...
分类：
其他好文 时间：
2016-10-19 20:20:45
阅读次数：
161
新手，编码有不成熟的地方，还望各位同道多多指正！ ...
分类：
编程语言 时间：
2016-10-16 00:50:55
阅读次数：
189
