1.准备环境1.1集群介绍系统环境：centos6.5数据库版本：greenplum-db-4.3.3.1-build-1-RHEL5-x86_64.zipgreenplum集群中，4台机器IP分别是[root@dw-greenplum-1~]#cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhos..
分类：
其他好文 时间：
2016-04-24 06:31:42
阅读次数：
823
一、软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二、Scala 安装 1、master 机器 (1)下载 scala-2.11.8.tgz， 解压到 /opt 目录下，即： /opt/scala-2.11.8。 (2)修改 scala-2. ...
分类：
其他好文 时间：
2016-04-23 13:17:35
阅读次数：
207
一、配置虚拟机三台1.网络配置虚拟化软件：VmwareWorkstations10.7zLinux系统：Centos6.5-x86_64采用4台安装Linux环境的机器来构建一个小规模的分布式集群。集群机器详细信息1.虚拟化的网络配置方式：桥接网络2.IP地址设置为固定IP地址3.主机名配置,需要修改一下地方（1）配置v..
分类：
其他好文 时间：
2016-04-23 07:44:52
阅读次数：
272
原文转自：http://kb.cnblogs.com/page/509402/ 当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存 ...
分类：
Web程序 时间：
2016-04-19 22:55:46
阅读次数：
319
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 ...
分类：
Web程序 时间：
2016-04-18 18:56:37
阅读次数：
145
Redis:KVcacheandstorein-memory所有工作在内存中进行，支持持久化支持主从(借助于sentinel实现一定意义上的HA)支持Clustering(分布式集群)Redis数据类型String（字符串）,List（列表）,Hash（哈希值）,Set（集合）,SortedSet（有序集合）,Bitmap,HyperLoglog存储系统有三类：R..
分类：
其他好文 时间：
2016-04-16 19:37:33
阅读次数：
288
今天搭建apche+tomcat分布式集群，遇到很多问题，在网上找到的很多都不成功，然后和同事一起研究了一下，最终搭建成功了。做个笔记，以备自己以后参考。 1，下载apache。在下载Apache（2.4版）的时候，要下载完整版，不然会缺失很多东西。参考博文：http://jingyan.baidu ...
分类：
Web程序 时间：
2016-04-14 17:39:33
阅读次数：
193
ZooKeeper是Hadoop的开源子项目（Google Chubby的开源实现），它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。 Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性，并且解决了M ...
分类：
Web程序 时间：
2016-04-12 07:09:55
阅读次数：
157
Storm分布式集群搭建1、解压Storm压缩文件[root@master software]# tar -zxf apache-storm-0.10.0.tar.gz -C /opt/modules
[root@master software]# cd /opt/modules
[root@master modules]# mv apache-storm-0.10.0 storm-0.10.0
2...
分类：
其他好文 时间：
2016-04-10 15:07:30
阅读次数：
247
kafka分布式搭建(192.168.230.129)master(192.168.230.130)slave1(192.168.230.131)salve2在master、slave1、slave2三台主机上配置kafaka分布式集群
准备工作：在三台机器上配置好zookeeper1、解压kafka压缩文件到指定目录下[root@master software]# tar -zxf kafka_2...
分类：
其他好文 时间：
2016-04-10 14:37:34
阅读次数：
210
