Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
redis目前还是单点, 没有做高可用, 现在数据量越来越多, 如果下游消费不出问题还好, redis里面数据来了就走,但是下游一旦出问题, 分给redis的内存半小时就撑满了.看到redis3.0 beta版本已经提供了集群功能, 但是需要client以集群模式接入, 我们这么多上游用户, 不太可...
分类：
其他好文 时间：
2014-07-16 20:25:36
阅读次数：
180
本文为官方文档的译文加个人理解。作者翻译时，elasticsearch（下面简称es)的版本为1.2.2。请支持原创：http://www.cnblogs.com/donlianli/p/3836768.html一、统计信息相关命令的变化有关集群状态cluster_state, 节点信息nodes_...
解决 Twitter的“问题”就像玩玩具一样，这是一个很有趣的扩展性比喻。每个人都觉得 Twitter很简单，一个菜鸟架构师随便摆弄一下个可伸缩的 Twitter就有了，就这么简单。然而事实不是这样， Twitter的工程副总裁 Raffi Krikorian细致深入的描述了在 Twitter在可伸...
分类：
其他好文 时间：
2014-07-13 09:32:28
阅读次数：
279
BACKGROUND1. FieldThe embodiments of the disclosure generally relate to computer clusters, and more particularly to systems, methods, and devices for ...
分类：
其他好文 时间：
2014-07-12 15:46:47
阅读次数：
265
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
Corosync+DRBD+MySQL构建高可用MySQL集群节点规划：node1.huhu.com172.16.100.103node2.huhu.com172.16.100.104资源名称规划资源名称：可以是除了空白字符外的任意ACSII码字符DRBD设备：在双节点上，此DRBD设备文件，一般为/dev/drbdN，主设备号147磁盘：在双方节点上，各自提..
分类：
数据库 时间：
2014-07-10 19:14:30
阅读次数：
430
一、客户需求1、需求描述有些客户有自己的存储设备，但是并没有集群文件系统服务，所以如果我们多个节点（计算节点）如果想同时使用其中的一个块且要保证高可用的话，就需要我们自己来完成类似集群文件系统的服务组合，在此我们使用的服务组合是：iscsi共享+drbd+heartbeat+nfs..
分类：
其他好文 时间：
2014-07-10 18:31:52
阅读次数：
418
一、需求分析：本文结合之前heartbeat与drbd两篇文章，实现磁盘文件高可用。当MySQL01（主数据库服务器）宕机后，MySQL02（备数据库服务器）可以通过heartbeat立刻检测到MySQL01挂了，MySQL02接管VIP，MySQL02的DRBD服务会自动从Secondary切换到Primary状态，然后自动加载DRBD..
分类：
其他好文 时间：
2014-07-10 18:14:54
阅读次数：
358
说明：以下内容参考了抚琴煮酒的《构建高可用Linux服务器》第六章内容.搭建负载均衡高可用环境相对简单，主要是要理解其中原理。此文描述了三种负载均衡器的优缺点，以便在实际的生产应用中，按需求取舍。目前，在线上环境中应用较多的负载均衡器硬件有F5 BIG-IP,软件有LVS，Nginx及HAProxy...
分类：
其他好文 时间：
2014-07-10 15:57:24
阅读次数：
238
