1、修改/etc/hosts
172.16.3.7 nimbus
172.16.3.8 supervisor1
172.16.3.9 supervisor2
172.16.3.10 supervisor3
2、集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus、supervisor之间协调
tar xzvf ...
分类:
其他好文 时间:
2014-12-08 17:46:22
阅读次数:
281
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee...
分类:
其他好文 时间:
2014-12-07 16:30:44
阅读次数:
379
一:下载zookeeper-3.4.6.tar.gz
二:配置 /home/tang_h/jack/zookeeper-3.4.6/conf/zoo.cfg 如下内容
[tang_h@apptools01 conf]$ cat zoo.cfg
tickTime=2500
initLimit=12
...
分类:
其他好文 时间:
2014-12-06 16:54:25
阅读次数:
183
Todo: 1.新建和删除solr集群的核(通过修改schema文件,并上传到zookeeper实现) 2.新建,修改或删除solr核的属性(包括name,type,indexed,stored,multiValued) 3.配置数据源,并支持多数据源联查创建索引(基于...
分类:
其他好文 时间:
2014-12-06 14:10:10
阅读次数:
156
先整体介绍一下搭建storm集群的步骤:
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zo...
分类:
其他好文 时间:
2014-12-05 17:26:26
阅读次数:
206
首先从Zookeeper入手,Zookeeper-->ClientCnxn-->sendThread/eventThread
public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher,
boolean canBeReadOnly)
throws IOException
{
...
分类:
其他好文 时间:
2014-12-04 23:15:28
阅读次数:
259
Watcher 设置是开发中最常见的,需要搞清楚watcher的一些基本特征,对于exists、getdata、getchild对于节点的不同操作会收到不同的 watcher信息。对父节点的变更以及孙节点的变更都不会触发watcher,而对watcher本身节点以及子节点的变更会触发watcher,具体参照下表。...
分类:
其他好文 时间:
2014-12-04 17:59:22
阅读次数:
247
zookeeper是什么Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。zookeeper是一个由...
分类:
其他好文 时间:
2014-12-03 22:47:33
阅读次数:
320
要求: 分布在不同机器上的进程,同时扫描某个ftp目录,得到文件目录,下载文件,但是要保证每个文件都只被一个进程获取思路:1. 文件以RW方式打开,比较暴力 ,另FTP支持RW方式打开吗。。。没了解过2. 实现一个分布式锁, 2.1 redis: redis单机的事务能否实现? 应该可以,...
分类:
其他好文 时间:
2014-12-03 18:34:12
阅读次数:
252