服务器规划： 整套系统全部在rhel5u1 server 64位版本下，由基于xen的虚拟机搭建，其中集群管理节点*2、SQL节点*2、数据节点*4、Web服务节点*2组成，其中数据节点做成2个组，每组两台的形式：虚拟机mysql_mgm-1, 192.168.20.5：集群管理节点，id=1虚拟机...
分类：
数据库 时间：
2015-06-19 18:05:47
阅读次数：
211
搞了几天redis cluster codis 的部署安装，测试，架构优化，配合研发应用整合，这里记一些心得！背景需求：之前多个业务都在应用到redis库，各业务独立占用主从两台服务器，硬件资源利用不合理，主从架构冗余度不高，主redis故障的话，从redis恢复需要时间，降低业务的可用性， 所以调...
分类：
其他好文 时间：
2015-06-18 19:21:25
阅读次数：
444
1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：Storm简述基础软件安装部署效果预览....
分类：
其他好文 时间：
2015-06-18 13:04:35
阅读次数：
125
公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。
standalone方式的脚本为:
spark-submit --class com.bg.tools...
分类：
其他好文 时间：
2015-06-17 21:36:42
阅读次数：
393
简介 ????????Spark SQL ?provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The ...
分类：
数据库 时间：
2015-06-17 13:36:43
阅读次数：
277
“高效运维最佳实践”是InfoQ在2015年推出的精品专栏，由触控科技运维总监萧田国撰写，InfoQ总编辑崔康策划。? ? ? 前言? ? ????????如开篇文章所言，高效运维包括管理的专业化和技术的专业化。前两...
分类：
其他好文 时间：
2015-06-16 21:22:10
阅读次数：
153
一．概述LVS作用：实现负载均衡Keepalived作用：监控集群系统中各个服务节点的状态，HA cluster。配置LVS有两种方式：1. 通过ipvsadm命令行方式配置2. 通过Redhat提供的工具piranha来配置LVS软件下载：ipvsadm下载地址：http://www.linuxv...
分类：
其他好文 时间：
2015-06-16 18:51:39
阅读次数：
241
一、测试环境master： 127.0.0.1 6379
slave1: 127.0.0.1 6479
slave2: 127.0.0.1 6579
master-sentinel: 127.0.0.1 26379
slave1-sentinel: 127.0.0.1 26479
slave2-sentinel: 127.0.0.1 26579
二、下载安装redis 2.8.3wg...
分类：
其他好文 时间：
2015-06-16 17:07:57
阅读次数：
100
在Redis中sentinel集群的搭建和Jedis测试 图文教程[一] 中已经写了Redis中sentinel集群的搭建和测试，这一章主要写Redis中sentinel的Jedis测试。一般sentinel架构图为至少4台机子测试
我这里测试的时候只用两台机子，一台跑Redis-Sentinel和所有的Redis master-slave，一台跑java测试程序。xserver.ini为项目工程...
分类：
其他好文 时间：
2015-06-16 16:58:32
阅读次数：
205
添加主从节点
一、查看集群信息redis-cli-p6379clusternodes[root@datanoderedis]#redis-cli-h192.168.1.3-p6379clusternodesdbc41c1e1a3c0c51c1e2a8216dace0f8883cf51f192.168.1.3:6385master-014340488147110connected85ad96dbdb49fd901de6f9f1431662c7ab58a208192.168.1.4:6..
分类：
其他好文 时间：
2015-06-12 22:31:57
阅读次数：
174
