先整体介绍一下搭建storm集群的步骤:
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zo...
分类:
其他好文 时间:
2014-12-05 17:26:26
阅读次数:
206
转载请注明出处:帘卷西风的专栏(http://blog.csdn.net/ljxfblog) 一直以来,在处理linux服务器的过程中,经常会遇到一个问题,有时候kill掉进程之后,端口被占用,新的进程一直起不来,等几十秒之后才能正常启动。所以一直也没专门来处理这个问题。 最近一周频繁出现这样的情况,等待很近也不能启动新进程,总是提示端口被占用,只有重启机器才能恢复正常,这个简直是个灾难,所以下定...
分类:
系统相关 时间:
2014-11-28 06:25:18
阅读次数:
259
本例中主节点的主机名为的master,从节点的主机名分别是slave1,slave2,slave3,用户名为hadoop,使用的zookeeper版本为zookeeper3.4.5。在root下运行如下脚本可以实现Zookeeper集群的快速搭建。在安装之前确保主机之间能够相互通信,修改好主机名,本次试运行一个shall脚本完..
分类:
系统相关 时间:
2014-11-26 06:44:51
阅读次数:
323
前一篇文章中说到,启动ZooKeeper集群时,需要分别启动集群中的各个节点,各节点以QuorumPeer的形式启动,最后到达startLeaderElection和lookForLeader。先说startLeaderElection首先,初始化节点自身的currentVote【当前投票】为【my...
分类:
其他好文 时间:
2014-11-25 14:10:32
阅读次数:
139
SQL>startup 报错ora-00119 ora-00130 出现上述错误应该是数据库的监听文件出了问题,修改listener.ora文件: # listener.ora Network Configuration File: D:\app\WCWEN\product\11.2.0\clien...
分类:
数据库 时间:
2014-11-21 14:03:36
阅读次数:
171
由于Zookeeper采用了Paxos算法来进行选举,因此实际能够有效参与选举的节点数量是奇数。你运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就越高,当然最好是部署奇数个,偶数个不是不可以的,但是zookeeper集群是以宕机个数过半才会让....
分类:
其他好文 时间:
2014-11-20 21:39:56
阅读次数:
157
前两天自己手动第一次对自己的笔记本进行了拆解,以前清灰什么的都是在台式机上,已经熟的不能再熟了,但是拆解笔记本还是第一次,所以拆的那叫胆颤心惊,就深怕拆坏了,而舍友说拆了肯定不能用了,吓得我半死。
终于黄天不负有心人,拆完了机器,清完灰,然后就进行组装,但是坑爹的是笔记本还不能启动。于是,采用了修复模式启动系统,但是坑爹的修复模式修复了大半天还是没有修复。于是取消了修复,采取恢复系统的方式,多亏...
分类:
其他好文 时间:
2014-11-19 18:34:43
阅读次数:
146
使用过ZooKeeper的同学应该看到过一种说法,就是ZooKeeper集群中必须超过半数节点(Majority)可用,整个集群才能对外可用。这个说法在大多数情况下是正确的。这篇文章说说背后的原因。
实际上ZooKeeper提供了几种方式来认定整个集群是否可用,Majority只是其中的一种。
http://zookeeper.apache.org/doc/r3.3.5/zookee...
分类:
其他好文 时间:
2014-11-17 19:36:22
阅读次数:
166
服务器:HPDL385G7操作系统:suse10sp3数据库:oracle11g
R2集群软件:VCS双机主备环境:两台服务器使用VCS软件做的oracle主备切换数据库由于两台数据库主机同时出现主板故障,更换主板后服务器网卡的mac地址均出现变更,从而导致vcs双机服务器无法启动,而且网卡的序号也不一..
分类:
其他好文 时间:
2014-11-16 02:04:45
阅读次数:
191
很多使用Zookeeper的情景是需要我们嵌入Zookeeper作为自己的分布式应用系统的一部分来提供分布式服务,此时我们需要通过程序的方式来启动Zookeeper。此时可以通过Zookeeper API的ZooKeeperServerMain类来启动Zookeeper服务。 下面是一个集群模式下启动Zookeeper服务的例子 这里假定我们运行Zookeeper集群的三台机器名分别为fanbin...
分类:
其他好文 时间:
2014-11-14 08:09:04
阅读次数:
142