我们准备来实现互斥的锁,按照官网的思路,给定一个锁的路径,如/Lock,所有要申请这个锁的进程都在/Lock目录下创建一个/Lock/lock-的临时序列节点,并监控/Lock的子节点变化事件。当子节点发送变化时用get_children()获取子节点的列表,如果发现进程发现自己拥有最小的一个序号,则获得锁。处理业务完毕后需要释放锁,此时只需要删除该临时节点即可。简单来说就是永远是拥有最小序号的进程获得锁。...
分类:
其他好文 时间:
2014-11-05 23:12:24
阅读次数:
247
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍...
分类:
其他好文 时间:
2014-11-05 10:55:34
阅读次数:
182
搭建SolrCloud ,zookeeper ,HDFS ,IK中文分词器,注意事项...
分类:
其他好文 时间:
2014-11-04 15:08:28
阅读次数:
628
solr版本:4.5.1 当前我使用三台服务器搭建集群分别是192.168.0.18、192.168.0.19、192.168.0.20,其中18为主服务器,19、20为从服务器,并且在20服务器安装zookeeper 一、在tomcat7中部署solr4 1、首先从官网下载...
分类:
其他好文 时间:
2014-11-03 14:45:47
阅读次数:
279
思考:HBase服务器内部由那些主要部件构成? HBase的内部工作原理是什么? 1.????HBase的工作原理: 首先HBase Client端会连接Zookeeper Qurom(从下面的代码也能看出来,例 如:HBASE_CONFIG.set(“hbase.zoo...
分类:
其他好文 时间:
2014-11-03 14:44:08
阅读次数:
253
前面虽然配置了集群模式的Zookeeper,但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。一、Zookeeper的四字命令 Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令,用来获取Zookeeper服务的当前状态及相关...
分类:
其他好文 时间:
2014-11-03 11:27:25
阅读次数:
314
首先在Zookeeper源码目录执行ant eclipse遇到错误path contains invalid character可以修改\zookeeper\build.xml 文件加入 另外可能出现不能switchenum的错误。尝试多切换几次jdk。build path->libraries->...
分类:
系统相关 时间:
2014-11-02 22:22:36
阅读次数:
317
前一篇文章中说到,启动ZooKeeper集群时,需要分别启动集群中的各个节点,各节点以QuorumPeer的形式启动,最后到达startLeaderElection和lookForLeader。
先说startLeaderElection
首先,初始化节点自身的currentVote【当前投票】为【myid、zxid、currentEpoch】
然后,初始化选举算法createElectio...
分类:
其他好文 时间:
2014-11-01 23:16:30
阅读次数:
274
Zookeeper 启动 FastLeaderElection...
分类:
其他好文 时间:
2014-10-31 23:43:44
阅读次数:
278
目录1.hadoop分布式安装2.zookeeper分布式安装3.hbase分布式安装4.pig分布式安装5.hive客户端安装
分类:
其他好文 时间:
2014-10-31 08:45:43
阅读次数:
244