问题描述： 感觉问题解决了回过头来想就很简单，但是没解决就怎么也找不到问题，知识储备捉襟见肘。针对这个问题我好长时间才弄好，各种找资料，也证明本人筛选有用博客的能力比较低，先让我哭会去…… 在虚拟的实验，特别是分布式集群环境中，我们需要配置静态IP地址，我们又想上网，往往我们是二者不可兼得，但是这个
分类：
系统相关 时间：
2016-03-17 12:24:51
阅读次数：
182
一、环境配置由于集群至少需要三台服务器，我就拿上次做的MongoDBMaster,Slave,Arbiter环境来做Hadoop集群。服务器还是ibmcloud免费提供的。其中Arbiter在这里做的也是slave的角色。HostnameIPServerTypeMaster192.168.0.28Centos6.2Slave192.168.0.29Ubuntu14.04Arbiter192.16..
分类：
其他好文 时间：
2016-03-16 01:51:43
阅读次数：
578
本文来自于老男孩架构班-赵班长布置年后作业，觉得非常实用，特此分享。参考赵班长的unixhot以及马亮blog笔者QQ：572891887Linux架构交流群：4714432081.1Mesos简介Mesos是Apache下的开源分布式资源管理框架，它被称为分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPL..
分类：
其他好文 时间：
2016-03-14 16:47:50
阅读次数：
3380
ElasticSearch有一个叫做river的插件式模块，可以将外部数据源中的数据导入elasticsearch并在上面建立索引。River在集群上是单例模式的，它被自动分配到一个节点上，当这个节点挂掉后，river会被自动分配到另外的一个节点上。目前支持的数据源包括：Wikipedia, Mon
分类：
数据库 时间：
2016-03-10 09:26:23
阅读次数：
133
集群是个物理形态，分布式是个工作方式。 集群一般是物理集中、统一管理的，而分布式系统则不强调这一点。 分布式：一个业务分拆多个子业务，部署在不同的服务器上集群：同一个业务，部署在多个服务器上 分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。 详细请看链接
分类：
其他好文 时间：
2016-03-07 16:47:19
阅读次数：
115
1、Zookeeper伪分布的部署(3个节点) 所谓的“伪分布式集群”就是在一台服务器中，启动多个Zookeeper实例。“完全分布式集群”是每台服务器，启动一个Zookeeper实例。 1.1、解压缩zookeeper-3.4.5.tar.gz 1.2、执行命令 cp conf/zoo_sampl
分类：
其他好文 时间：
2016-02-24 17:35:29
阅读次数：
175
前面简单学习了通过XML配置或者内存指定的方式实现调度任务。但此用法实战用途较小，企业上多需要分布式集群的方式。quart团队也考虑到了这点，于是有了我们今天要学习的。基于数据库实现分布式。 1 NameValueCollection properties = new NameValueCollec
分类：
数据库 时间：
2016-02-22 17:49:36
阅读次数：
1003
一：背景 Speculative Task，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job多个task运行速度不不一致，有的task运行速度明显要慢于其他task(比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕)，则
分类：
其他好文 时间：
2016-01-31 21:19:07
阅读次数：
243
最近一年忙碌于数据处理相关的工作，跟MongoDB打交道极多，以下为实践过程中的Q&A，后续会不定期更新补充。1、count统计结果错误这是由于分布式集群正在迁移数据，它导致count结果值错误，需要使用aggregate pipeline来得到正确统计结果，例如：db.collection.agg...
分类：
数据库 时间：
2016-01-13 07:08:08
阅读次数：
709
以下是并发上线1.5万人时的测试结果，如果只是测试万人级别的承载量单网关单逻辑服单数据服的架构将比分布式集群的服务器架构速度更快(如果图小，可以Ctrl+鼠标滚轮给缩放）
分类：
其他好文 时间：
2016-01-09 20:10:20
阅读次数：
142
