spark版本 1.3.1scala版本 2.11.6参考官网 http://spark.apache.org/docs/latest/mllib-clustering.html运行spark-shell后,首先导入需要的模块import org.apache.spark.mllib.cluster...
分类：
编程语言 时间：
2015-06-23 11:36:04
阅读次数：
123
在前两篇Redis中sentinel集群的搭建和Jedis测试 图文教程[一] 和Redis中sentinel集群的搭建和Jedis测试 图文教程[二] 中分别简述了Redis中sentinel集群的搭建和Java代码的Jedis测试。
这篇主要来简单分析一下Redis-sentinel集群的原理，根据追踪sentinel信息来完成Redis-sentinel集群测试中的详细的原理分析...
分类：
其他好文 时间：
2015-06-20 18:28:16
阅读次数：
250
服务器规划： 整套系统全部在rhel5u1 server 64位版本下，由基于xen的虚拟机搭建，其中集群管理节点*2、SQL节点*2、数据节点*4、Web服务节点*2组成，其中数据节点做成2个组，每组两台的形式：虚拟机mysql_mgm-1, 192.168.20.5：集群管理节点，id=1虚拟机...
分类：
数据库 时间：
2015-06-19 18:05:47
阅读次数：
211
搞了几天redis cluster codis 的部署安装，测试，架构优化，配合研发应用整合，这里记一些心得！背景需求：之前多个业务都在应用到redis库，各业务独立占用主从两台服务器，硬件资源利用不合理，主从架构冗余度不高，主redis故障的话，从redis恢复需要时间，降低业务的可用性， 所以调...
分类：
其他好文 时间：
2015-06-18 19:21:25
阅读次数：
444
1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：Storm简述基础软件安装部署效果预览....
分类：
其他好文 时间：
2015-06-18 13:04:35
阅读次数：
125
公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。
standalone方式的脚本为:
spark-submit --class com.bg.tools...
分类：
其他好文 时间：
2015-06-17 21:36:42
阅读次数：
393
简介 ????????Spark SQL ?provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The ...
分类：
数据库 时间：
2015-06-17 13:36:43
阅读次数：
277
一．概述LVS作用：实现负载均衡Keepalived作用：监控集群系统中各个服务节点的状态，HA cluster。配置LVS有两种方式：1. 通过ipvsadm命令行方式配置2. 通过Redhat提供的工具piranha来配置LVS软件下载：ipvsadm下载地址：http://www.linuxv...
分类：
其他好文 时间：
2015-06-16 18:51:39
阅读次数：
241
利用共享文件夹实现故障转移群集的仲裁盘前面的博文中我们已经为大家介绍了如何来搭建一个分布式文件系统（DFS），并且为大家介绍了如何对DFS进行高可用的配置，那么今天的博文我们就在此基础上为大家来讲解如何利用DFS来做我们WindowsCluster的仲裁盘。不知道大家是否了解我在..
分类：
其他好文 时间：
2015-06-12 15:20:49
阅读次数：
677
简介mesospheremesosmarathonzookeeper:为master的mesos/marathon的配置文件，这保证master更轻量级。大概为这几个概念，能找到这里的基本上都是知道他们是干啥的，这里不废话了。不懂的可自行脑补。环境：HostnameFunctionIPAddressmaster1Mesosmaster172.18.2.94master2Mesos..
分类：
其他好文 时间：
2015-06-12 15:08:56
阅读次数：
166
