MRv1缺点1、JobTracker容易存在单点故障2、JobTracker负担重，既要负责资源管理，又要进行作业调度；当需处理太多任务时，会造成过多的资源消耗。3、当mapreduce job非常多的时候，会造成很大的内存开销，在
TaskTracker端，以mapreduce task的数目作为资源的表示过于简单，没有考虑到cpu以及内存的占用情况，如果两个大内存消耗的task被调度到了一块，...
分类：
其他好文 时间：
2015-06-23 23:12:30
阅读次数：
2933
Sheepdog，由NTT的3日本研究人员开发的开源项目，主件装备用来提供一个虚拟机。它的建筑，如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构。无单点故障。存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2015-06-23 15:31:30
阅读次数：
109
项目说明1、使用LVS负载均衡用户请求到后端web服务器，并且实现健康状态检查2、使用keepalived高可用LVS，避免LVS单点故障3、集群中分别在LK-01和LK-02运行一个VIP地址，实现LVS双主4、用户通过DNS轮训的方式实现访问集群的负载均衡（不演示）实验拓扑环境介绍:IP地址功能描述H..
分类：
其他好文 时间：
2015-06-19 06:44:23
阅读次数：
201
项目说明1、使用LVS负载均衡用户请求到后端web服务器，并且实现健康状态检查2、使用keepalived高可用LVS，避免LVS单点故障3、集群中分别在LK-01和LK-02运行一个VIP地址，实现LVS双主4、用户通过DNS轮训的方式实现访问集群的负载均衡（不演示）环境拓扑环境介绍IP地址功能描述LK..
分类：
其他好文 时间：
2015-06-19 06:42:47
阅读次数：
212
前言前面说过基于heartbeat的LVS高可用方案，今天带来另一种解决方案：基于Keepalived实现LVS双主高可用集群。什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障的发生。本文将详细讲述Keepalived工..
分类：
其他好文 时间：
2015-06-16 19:26:32
阅读次数：
184
首先，配置端口组在实际情况中的运用的场景很多，偏冗余主要为了解决单点故障问题。多是配合在HA、VRRP、hsrp，交换机堆叠等多种实际运用场景。好了，不唠叨直接“上大菜”第一大步：配置Broadcom网卡组要在Broadcom网卡上启用网卡组，需要安装Broadcom网卡管理软件BACS（Broad..
分类：
其他好文 时间：
2015-06-15 16:42:12
阅读次数：
17734
Hadoop2对HDFS的改进很大，支持HDFS(NameNode)和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署。一、部署前..
分类：
其他好文 时间：
2015-06-12 22:28:03
阅读次数：
267
1. MapReduce架构： 各个角色的功能： 2. MapReduce——容错性： JobTracker 单点故障，一旦出现故障，整个集群不可用 TaskTracker 周期性向JobTracker汇报心跳 一旦出现故障，上面所有任务将被调度到其他节点上 MapTask/ReduceTask 运...
分类：
其他好文 时间：
2015-06-12 20:48:18
阅读次数：
173
1：Aerospike数据库是Shared-Nothing架构，集群中的每个节点都是相同的，不会出现单点故障。Aerospike有智能分区算法，即把用户输入的key在内部根据RIPEMD-160算法，重新hash出一个key并取前20位，然后相对均衡的把数据分布到各个节点之上。并且满足namespa...
分类：
其他好文 时间：
2015-06-11 14:27:00
阅读次数：
449
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2015-06-04 22:41:01
阅读次数：
135
