首先官网下载 http://nginx.org/en/download.html,我的本地环境为 实现的架构: 从图上可以看出,nginx作为负载均衡请求分发器,当请求A应用时候,分发到A集群,同理当请求B应用的时候,分发到B集群。 nginx.conf配置 Proxy.conf Gzip.conf ...
Hadoop: 大数据里面的公认的解决方案标准 第一天 Hadoop的基本概念 伪分布式集群安装 hdfs mapreduce 演示 第二天 hdfs原理和使用操作 第三天 mapreduce 的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 Hadoop2.x种HA机制的原理和 ...
分类:
其他好文 时间:
2016-10-02 00:10:28
阅读次数:
220
一,高可用 高可用(High Availability),是当一台服务器停止服务后,对于业务及用户毫无影响。 停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致,在很多时候也称单点问题。 (1)解决单点问题主要有2种方式: 主备方式 这种通常是一台主机、 ...
分类:
其他好文 时间:
2016-09-27 13:27:03
阅读次数:
176
现在,我们来验证分析下,zookeeper集群的可靠性 现在有weekend05、06、07 将其一个关掉, 分析,这3个zookeeper集群里,杀死了weekend06,还存活weekend05、07。 可见,还能正常工作。 分析,这3个zookeeper集群里,杀死了weekend06、07, ...
分类:
其他好文 时间:
2016-09-24 12:07:12
阅读次数:
136
weekend01、02、03、04、05、06、07的分布式集群的HA测试 1) weekend01、02的hdfs的HA测试 2) weekend03、04的yarn的HA测试 1) weekend01、02的hdfs的HA测试 首先,分布式集群都是正常的,且工作的 然后呢, 以上是,weeke ...
分类:
编程语言 时间:
2016-09-24 11:54:13
阅读次数:
490
一、MyCat的简介 MyCat高可用、负载均衡架构图: 详细知识点: MySQL分布式集群之MyCAT(一)简介(修正) 二、MyCat的schema.xml讲解 详细知识点:MySQL分布式集群之MyCAT(二)schema详解(修正) 三、MyCat的分片规则 详细知识点:MySQL分布式集群 ...
分类:
其他好文 时间:
2016-09-21 17:31:22
阅读次数:
143
网上有的hadoop,zookeeper,hbase,apache-hive相关文档,具体大家可以百度具体了解,本文不多做介绍,本文从最基本的环境搭建入手,纯环境搭建。搭建次环境唯一要考虑就是软件相互之间的兼容性,及服务器内存(最好大点,虚拟机2G以上),当然也可以通过调启动参数,调小启动..
分类:
Web程序 时间:
2016-09-15 15:16:07
阅读次数:
307
今天休假在家,测试并搭建了一个replica set shard MongoDB鉴权集群。replica set shard 鉴权集群中文资料比较少,本文是个人笔记,同时也希望对后来者有所帮助。本文仅是搭建步骤和Q&A,用于实际工作中的使用查阅,阅读者需要有分布式集群的理论基础。 关键字:Repli ...
分类:
数据库 时间:
2016-09-13 20:35:11
阅读次数:
283
分布式集群系统下的高可用session解决方案 guanfuming 20130216 目前,为了使web能适应大规模的访问,需要实现应用的集群部署. 而实现集群部署首先要解决session的统一,即需要实现session的共享机制。 目前,在集群系统下实现session统一的有如下几种方案: (1 ...
分类:
其他好文 时间:
2016-09-05 12:26:28
阅读次数:
110
我们公司在用inotify+rsync做实时同步,来解决分布式集群文件一致性的问题。但当web文件越来越多(百万级数量html,jpg等小 文件),同步就越来越慢,根本做不到实时,按照网上的调优方法都尝试过,问题根本没有解决。经过我一翻细致研究,终于把慢的核心问题研究明白,先总结一句 inotify ...
分类:
其他好文 时间:
2016-09-05 09:10:47
阅读次数:
150