1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：Storm简述基础软件安装部署效果预览....
分类：
其他好文 时间：
2015-06-18 13:04:35
阅读次数：
125
公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。
standalone方式的脚本为:
spark-submit --class com.bg.tools...
分类：
其他好文 时间：
2015-06-17 21:36:42
阅读次数：
393
简介 ????????Spark SQL ?provides JDBC connectivity, which is useful for connecting business intelligence (BI) tools to a Spark cluster and for sharing a cluster across multipleusers. The ...
分类：
数据库 时间：
2015-06-17 13:36:43
阅读次数：
277
一．概述LVS作用：实现负载均衡Keepalived作用：监控集群系统中各个服务节点的状态，HA cluster。配置LVS有两种方式：1. 通过ipvsadm命令行方式配置2. 通过Redhat提供的工具piranha来配置LVS软件下载：ipvsadm下载地址：http://www.linuxv...
分类：
其他好文 时间：
2015-06-16 18:51:39
阅读次数：
241
利用共享文件夹实现故障转移群集的仲裁盘前面的博文中我们已经为大家介绍了如何来搭建一个分布式文件系统（DFS），并且为大家介绍了如何对DFS进行高可用的配置，那么今天的博文我们就在此基础上为大家来讲解如何利用DFS来做我们WindowsCluster的仲裁盘。不知道大家是否了解我在..
分类：
其他好文 时间：
2015-06-12 15:20:49
阅读次数：
677
简介mesospheremesosmarathonzookeeper:为master的mesos/marathon的配置文件，这保证master更轻量级。大概为这几个概念，能找到这里的基本上都是知道他们是干啥的，这里不废话了。不懂的可自行脑补。环境：HostnameFunctionIPAddressmaster1Mesosmaster172.18.2.94master2Mesos..
分类：
其他好文 时间：
2015-06-12 15:08:56
阅读次数：
166
使用k-means算法对数据进行聚类之后，通常需要估计一下...
分类：
其他好文 时间：
2015-06-12 10:04:03
阅读次数：
810
提出混合模型主要是为了能更好地近似一些较复杂的样本分布，通过不断增加component个数，可以任意地逼近任何连续的概率分布，所以我们认为任何样本分布都可以用混合模型来建模。因为高斯函数具有一些很实用的性质，所以高斯混合模型被广泛地使用。
GMM与kmeans类似，也是属于clustering，不同的是，kmeans是把每个样本点聚到其中一个cluster，而GMM是给出这些样本点到每个c...
分类：
编程语言 时间：
2015-06-12 01:02:10
阅读次数：
330
DFS:分布式文件系统功能：1.将分布在多个计算机上的共享文件夹，集中到一个虚拟共享文件夹中，以便于用户访问和使用2.很多服务需要用到共享文件夹高可用。如：Cluster中用作仲裁术语：命名空间：是DFS中共享文件夹的一组虚拟视图。（客户端访问DFS服务器的时候输入的\\geng.com..
分类：
其他好文 时间：
2015-06-09 20:14:58
阅读次数：
131
ActivemqClusterenvironmentroleIPhostnamemaster：10.0.0.4cdh1slave1：10.0.0.5cdh2slave2：10.0.0.6cdh31.InstallJDKonyourServerNote:Thesamestepsoneachnode(includecdh1,cdh2,andcdh3)Toelevatepermissions,runcommand:[azureuser@cdh1~]$sudosu-step1:Downloadandinstal..
分类：
其他好文 时间：
2015-06-09 14:03:36
阅读次数：
134
