zookeeper的安装tar-zxvfzookeeper-3.4.8.tar.gzmvzookeeper-3.4.8/usr/local/修改zk的配置文件cpzoo_sample.cfgzoo.cfgtickTime:zookeeper中使用的基本时间单位,毫秒值.dataDir:数据目录.可以是任意目录.dataLogDir:log目录,同样可以是任意目录.如果没有设置该参数,将使用和da..
分类：
其他好文 时间：
2016-05-23 19:18:50
阅读次数：
153
zookeeper的安装tar-zxvfzookeeper-3.4.8.tar.gzmvzookeeper-3.4.8/usr/local/修改zk的配置文件cpzoo_sample.cfgzoo.cfgtickTime:zookeeper中使用的基本时间单位,毫秒值.dataDir:数据目录.可以是任意目录.dataLogDir:log目录,同样可以是任意目录.如果没有设置该参数,将使用和da..
分类：
其他好文 时间：
2016-05-23 19:17:23
阅读次数：
110
ZKFC : zookeeper FailoverController NN : name node Hadoop 2.0 HA架构图： FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个 特定接口来获取N ...
分类：
其他好文 时间：
2016-05-21 11:42:51
阅读次数：
147
开源客户端,原生api的不足连接的创建是异步的，需要开发人员自行编码实现等待连接没有自动的超时重连机制Zk本身没提供序列化机制，需要开发人员自行指定，从而实现数据的序列化和反序列化Watcher注册一次只会生效一次,需要不断的重复注册Watcher的使用方式不符合java本身的术语..
分类：
其他好文 时间：
2016-05-19 19:41:14
阅读次数：
369
结合上次搭建项目和配置安全控制的经验,工程的搭建过程应该如下:
1.搭建zookeeper集群
2.配置solr的jetty启动配置
3.在solr启动配置中增加zk的acl配置信息
4.使用solr配置,启动solrcloud集群将 集群交给zookeeper管理
5.上传相关的配置文件,创建集合
6.上传安全配置文件
7.登录admin界面,查看集群状态及能否访问到zookeep...
分类：
其他好文 时间：
2016-05-18 19:53:31
阅读次数：
531
kafka 0.9.0添加了一套新的Java 消费者API，用以替换之前的high-level API (基于ZK) 和low-level API。新的Java消费者API目前为测试版。另外kafka 0.9暂时还支持0.8的Client。 1、High Level Consumer（0.8） pa ...
分类：
其他好文 时间：
2016-05-13 07:24:40
阅读次数：
297
1：Direct方式特点：
1）Direct的方式是会直接操作kafka底层的元数据信息，这样如果计算失败了，可以把数据重新读一下，重新处理。即数据一定会被处理
2）由于直接操作的是kafka，kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性，即一定会被处理，而且只会被处理一次。而Receiver的方式则不能保证，因为Receiver和ZK中的数据可能不同步，spark St...
分类：
其他好文 时间：
2016-05-13 03:17:41
阅读次数：
136
上篇文章搭建了zookeeper集群 那好，今天就可以搭建solr搜服服务的集群了，这个和redis 集群不同，是需要zk管理的，作为一个代理层 安装四个tomcat，修改其端口号不能冲突。8080~8083 如果是正式环境下，则分别使用4台linux作为节点 修改server.xml文件修改端口号 ...
分类：
其他好文 时间：
2016-05-07 00:49:51
阅读次数：
133
Twitter Storm中Topology的状态 状态转换如下,Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 Java代码 (d ...
分类：
其他好文 时间：
2016-05-04 01:15:59
阅读次数：
173
1 环境描述 三台hadoop集群，分别是master、slave1和slave2。下面是这三台机器的软件分布： master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer slave1：DataNode、ZK slave2：DataNode、... ...
分类：
Web程序 时间：
2016-04-26 10:56:37
阅读次数：
966
