Spark Standalone模式常见的HA部署方式有两种:基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建:$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息:export SPARK_DAEMON_JAVA_O...
分类:
其他好文 时间:
2014-07-16 20:27:12
阅读次数:
187
redis目前还是单点, 没有做高可用, 现在数据量越来越多, 如果下游消费不出问题还好, redis里面数据来了就走,但是下游一旦出问题, 分给redis的内存半小时就撑满了.看到redis3.0 beta版本已经提供了集群功能, 但是需要client以集群模式接入, 我们这么多上游用户, 不太可...
分类:
其他好文 时间:
2014-07-16 20:25:36
阅读次数:
180
解决 Twitter的“问题”就像玩玩具一样,这是一个很有趣的扩展性比喻。每个人都觉得 Twitter很简单,一个菜鸟架构师随便摆弄一下个可伸缩的 Twitter就有了,就这么简单。然而事实不是这样, Twitter的工程副总裁 Raffi Krikorian细致深入的描述了在 Twitter在可伸...
分类:
其他好文 时间:
2014-07-13 09:32:28
阅读次数:
279
Greenplum 分布式数据库开发入门到精通(架构、部署、管理、开发和调优)
对这个课程有兴趣的朋友,可以加我qq2059055336和我联系
课程大纲
1 Greenplum架构
什么是Greenplum
Greenplum体系结构
Greenplum高可用性架构
...
分类:
数据库 时间:
2014-07-12 22:13:36
阅读次数:
319
Corosync+DRBD+MySQL构建高可用MySQL集群节点规划:node1.huhu.com172.16.100.103node2.huhu.com172.16.100.104资源名称规划资源名称:可以是除了空白字符外的任意ACSII码字符DRBD设备:在双节点上,此DRBD设备文件,一般为/dev/drbdN,主设备号147磁盘:在双方节点上,各自提..
分类:
数据库 时间:
2014-07-10 19:14:30
阅读次数:
430
一、客户需求1、需求描述有些客户有自己的存储设备,但是并没有集群文件系统服务,所以如果我们多个节点(计算节点)如果想同时使用其中的一个块且要保证高可用的话,就需要我们自己来完成类似集群文件系统的服务组合,在此我们使用的服务组合是:iscsi共享+drbd+heartbeat+nfs..
分类:
其他好文 时间:
2014-07-10 18:31:52
阅读次数:
418
一、需求分析:本文结合之前heartbeat与drbd两篇文章,实现磁盘文件高可用。当MySQL01(主数据库服务器)宕机后,MySQL02(备数据库服务器)可以通过heartbeat立刻检测到MySQL01挂了,MySQL02接管VIP,MySQL02的DRBD服务会自动从Secondary切换到Primary状态,然后自动加载DRBD..
分类:
其他好文 时间:
2014-07-10 18:14:54
阅读次数:
358
说明:以下内容参考了抚琴煮酒的《构建高可用Linux服务器》第六章内容.搭建负载均衡高可用环境相对简单,主要是要理解其中原理。此文描述了三种负载均衡器的优缺点,以便在实际的生产应用中,按需求取舍。目前,在线上环境中应用较多的负载均衡器硬件有F5 BIG-IP,软件有LVS,Nginx及HAProxy...
分类:
其他好文 时间:
2014-07-10 15:57:24
阅读次数:
238
by garrie 一 单词和发音 1 Mandarin 国语,普通话 Cantonese 广东话,粤语 custom patch 自定义补丁 dual 两部分的 2 happiness [ha-pi-nest] different [dif–rent] despi...
分类:
移动开发 时间:
2014-07-08 22:45:22
阅读次数:
252