ResourceManager: 存在单点故障,ResourceManager有备份节点,当主节点出现故障,将切换到从节点继续工作。NodeManager : 失败之后,ResourceManager将失败任务告诉对应的ApplicationMaster, ApplicationMast...
分类:
其他好文 时间:
2015-04-11 11:40:54
阅读次数:
146
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据..
分类:
其他好文 时间:
2015-04-11 06:44:28
阅读次数:
467
0. 关于大数据1. Hadoop:事实上的大数据标准3. Hadoop 体系结构HDFS: Hadoop 分布式文件系统HDFS 有着高容错性特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序。MapReduce: Hadoop 编程模型,用于大规模数据集(大于1TB)的并行计...
分类:
其他好文 时间:
2015-04-06 11:23:12
阅读次数:
165
本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节:当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性,以及Nimbus是否存在单点故障问题。当一个Worker挂了会怎样?When a worker dies, the superviso...
分类:
其他好文 时间:
2015-03-30 13:00:26
阅读次数:
172
Hadoop是Apache软件基金会旗下的开源分布式存储计算平台,它以HDFS(Hadoop Distributed File System)和MapReduce为核心,为用户提供了系统底层细节透明的分布式基础架构。其中,HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上.....
分类:
其他好文 时间:
2015-03-21 11:14:44
阅读次数:
189
YARN/MRv2是下一代MapReduce框架(见Hadoop-0.23.0),该框架完全不同于当前的MapReduce框架,它在扩展性,容错性和通用性等方面更出色,据统计,Yarn有超过150000行代码,完全是重写编写的。本文介绍了YARN/MRv2中基本术语的含义,帮助有兴趣的程序员们对YA...
分类:
其他好文 时间:
2015-03-20 18:18:04
阅读次数:
209
Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed FileSystem),简称HDFS。HDFS有着高容错性的特点,...
分类:
其他好文 时间:
2015-03-18 12:05:22
阅读次数:
142
Quartz.NET除了可以代码定义触发器、任务之外,还可以由XML定义这两个对象。其实Quartz.NET的理想架构是:计划管理容器作为服务器运行在服务机上,而触发器、任务的添加可通过自定义任务管理软件向服务器上添加特定的任务计划。
这时就要求数据的持久化以及服务器的容错性了,后面几篇文章将会介绍持久化以及集群相关内容。
VS的XML只能提示
第一篇已经将Quartz.NE...
分类:
Web程序 时间:
2015-03-15 09:34:32
阅读次数:
160
Hadoop的主核心有2部分:1,HDFS2, MapReduce首先:HDFSHDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,适合那些有着超大数据集(large...
分类:
其他好文 时间:
2015-03-14 09:30:46
阅读次数:
167
乐芝麻网教系统采用面向服务的信息技术架构(SOA)搭建而成,开发语言是asp.net,数据库是sql2008,开发环境是VS2013。系统采用了wcf、ef(entity framework)、ajax、jquery等技术,各组件之间相互协作和异步通信,耦合灵活,具有较好的安全性、稳定性、容错性,运...
分类:
其他好文 时间:
2015-03-09 23:51:46
阅读次数:
241