redis目前还是单点, 没有做高可用, 现在数据量越来越多, 如果下游消费不出问题还好, redis里面数据来了就走,但是下游一旦出问题, 分给redis的内存半小时就撑满了.看到redis3.0 beta版本已经提供了集群功能, 但是需要client以集群模式接入, 我们这么多上游用户, 不太可...
分类：
其他好文 时间：
2014-07-16 20:25:36
阅读次数：
180
本文为官方文档的译文加个人理解。作者翻译时，elasticsearch（下面简称es)的版本为1.2.2。请支持原创：http://www.cnblogs.com/donlianli/p/3836768.html一、统计信息相关命令的变化有关集群状态cluster_state, 节点信息nodes_...
{ "vmtemplate": { "NAME": "bbbb", "MEMORY": "512", "CPU": "1", "DESCRIPTION": "aaaa", "DISK": [ {...
分类：
其他好文 时间：
2014-07-16 19:54:28
阅读次数：
165
紧接上篇，今天我们来分析监督树的工作者，打工仔执行任务的人。废话不多少我们直接进入正题。 3.ranch_server.erl 整个文件的功能主要是存储tcp对应参数的的信息。信息的存储方式采用的ets内存表的方式存储方式。当然有需求也可以采用mnesia来存储对应的数据。不过除非需要大规模集群处....
分类：
其他好文 时间：
2014-07-16 19:45:52
阅读次数：
341
记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
又是期末又是实训TA的事耽搁了好久……先把写好的放上博客吧前文：用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控使用额外的文件假如你跑的j...
分类：
编程语言 时间：
2014-07-14 10:59:55
阅读次数：
335
启动namenode，通过50070端口查看，发现livenode只有一个--namenode，查看datanode日志，发现有”Incompatible clusterIDs“错误，提示很明显，namenode和datanode的集群id不一致解决办法：找到core-site.xml配置文件，进入...
分类：
其他好文 时间：
2014-07-14 00:54:10
阅读次数：
196
hadoop的安装不难，但是需要做不少的准备工作。
一、JDK
需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。
之后，需要设置ssh为密钥认证登录。如果没有这一步，那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对，然...
分类：
其他好文 时间：
2014-07-13 18:12:08
阅读次数：
278
见过很多成长中的企业，随着业务的扩大，数据流的增加，自家的软件越来越受到成长性的颈瓶，于是乎高薪招来大牛，然后就急急忙忙的乱设计架构做试验，最后搞的头痛医头，脚痛医脚的局面。
这样的企业国内太多，多的我都不好意思说了。
无论什么软件受到成长性的颈瓶，除了历史架构原因，没有别的因素了。
目前解决数据流颈瓶的技术...
分类：
其他好文 时间：
2014-07-12 21:47:30
阅读次数：
287
