紧接上篇，今天我们来分析监督树的工作者，打工仔执行任务的人。废话不多少我们直接进入正题。 3.ranch_server.erl 整个文件的功能主要是存储tcp对应参数的的信息。信息的存储方式采用的ets内存表的方式存储方式。当然有需求也可以采用mnesia来存储对应的数据。不过除非需要大规模集群处....
分类：
其他好文 时间：
2014-07-16 19:45:52
阅读次数：
341
记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
在Openfire中自带有Broadcase插件，可以让我们群发消息给全部用户或者组。不过如果是我们通过Servlet来实现这一功能，那么是能够增加一定的灵活性的。具体做法直接看Demo代码：public class SafeServlet extends HttpServlet { priv...
分类：
其他好文 时间：
2014-07-15 00:41:44
阅读次数：
469
集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
1.先在所有数据库服务器上安装mysql-cluster包管理机：192.168.1.6数据节点：192.168.1.31192.168.1.32sql节点：192.168.1.33192.168.1.1112.在管理节点上配置[root@mysql~]#vim/etc/config.ini[ndbddefault]//数据节点公共配置
noofreplicas=2//数据备份数
datamemory=300M//..
分类：
数据库 时间：
2014-07-14 11:40:15
阅读次数：
349
又是期末又是实训TA的事耽搁了好久……先把写好的放上博客吧前文：用python + hadoop streaming 编写分布式程序（一） -- 原理介绍，样例程序与本地调试用python + hadoop streaming 编写分布式程序（二） -- 在集群上运行与监控使用额外的文件假如你跑的j...
分类：
编程语言 时间：
2014-07-14 10:59:55
阅读次数：
335
启动namenode，通过50070端口查看，发现livenode只有一个--namenode，查看datanode日志，发现有”Incompatible clusterIDs“错误，提示很明显，namenode和datanode的集群id不一致解决办法：找到core-site.xml配置文件，进入...
分类：
其他好文 时间：
2014-07-14 00:54:10
阅读次数：
196
hadoop的安装不难，但是需要做不少的准备工作。
一、JDK
需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。
之后，需要设置ssh为密钥认证登录。如果没有这一步，那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对，然...
分类：
其他好文 时间：
2014-07-13 18:12:08
阅读次数：
278
见过很多成长中的企业，随着业务的扩大，数据流的增加，自家的软件越来越受到成长性的颈瓶，于是乎高薪招来大牛，然后就急急忙忙的乱设计架构做试验，最后搞的头痛医头，脚痛医脚的局面。
这样的企业国内太多，多的我都不好意思说了。
无论什么软件受到成长性的颈瓶，除了历史架构原因，没有别的因素了。
目前解决数据流颈瓶的技术...
分类：
其他好文 时间：
2014-07-12 21:47:30
阅读次数：
287
