分布式集群的理解
关于分布式集群的概念有很多的解释,我比较倾向于“分布式集群”为两个概念,即,分布式是一个概念,集群是另一概念。
分布式是把一个整体系统分成多个部分,分别部署到不同的服务器上,然后由中心服务器统一控制,形成的一个对外来说为一个整体的系统。集群是把一个整体,整体的分别部署到多个服务器上的结果。
分布式和集群都是部署上的现象的描述,都涉及...
分类:
数据库 时间:
2015-06-30 23:38:27
阅读次数:
165
基于虚拟机的Hadoop集群安装1、我们需要的软件Xshell, ssh secure, 虚拟机,Linux centos64, Hadoop1.2.1的安装包2、安装以上软件3、安装Linux,此处不多做阐述4、首先安装jdk我的路径是JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
PATH=PATH:PATH:JAVA_HOME/bin
CLASSPATH=JAVAHO...
分类:
其他好文 时间:
2015-06-28 12:50:45
阅读次数:
132
内容概述1、分布式文件系统介绍2、CAP理论3、常见分布式文件系统介绍4、MogileFS详细介绍4、1MogileFS组成4、2MogileFS特性5、MogileFS实现5、1node1配置Mariadb(过程略)5、2node1配置tracker5、3node2配置storage5、4node3配置storage5、5配置分布式集群5、5、1添加主机5、5..
分类:
其他好文 时间:
2015-06-28 06:32:14
阅读次数:
394
Twemproxy 分布式集群缓存代理服务器是一个使用C语言编写、以代理的方式实现的、轻量级的Redis代理服务器,它通过引入一个代理层,将应用程序后端的多台Redis实例进行统一管理,使 应用程序只需要在Twemproxy上进行操作,而不用关心后面具体有多少个真实的Redis或Memcached实...
分类:
其他好文 时间:
2015-06-20 18:19:56
阅读次数:
131
用三台centos操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败,查看datanode的日志,提示错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible....
分类:
Web程序 时间:
2015-06-11 01:49:28
阅读次数:
131
本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,Topic创建/删除,Broker启动,Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具,如重新分配Partition等。...
分类:
其他好文 时间:
2015-06-09 12:01:25
阅读次数:
124
我们经常会听有人说“网络抖动”,感觉好牛逼的词汇,今天好好整理一下。其实网络抖动是一个QOS的词汇,描述着网络的服务质量或网络稳定性当然也有人把它描述成一种现象,即网络超时。针对分布式集群来说,互相之间的网络通信都非常频繁而重要,该用tcp长连接么?为什么呢,因为怕网络抖动的问题造成连接超时。引用:...
分类:
其他好文 时间:
2015-06-07 23:16:24
阅读次数:
148
redis3.0.2分布式集群安装详细步骤--(centos5.8X64系统)版本历史时间版本说明编写者2015-06-51.0redis3.0.2分布式集群安装详细步骤csc一:rediscluster介绍篇1:rediscluster的现状目前redis支持的cluster特性(已亲测):1):节点自动发现2):slave->master选举,集群容错3):Hotres..
分类:
其他好文 时间:
2015-06-05 17:55:58
阅读次数:
300
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决。W...
分类:
Web程序 时间:
2015-06-04 11:42:16
阅读次数:
103