首先解释下2个名词：
AR(assignreplicas):分配副本 ISR(in-sync replicas)：在同步中的副本，即下图：
Partition {
topic : string //topic名称
partition_id...
分类：
其他好文 时间：
2016-04-01 18:24:25
阅读次数：
254
Kafka依赖于ZooKeeper，所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper，但是还是建议大家单独部署ZooKeeper集群，因为可能其他框架也需要使用ZooKeeper。安装完毕后，可通过创建topic，控制台模拟producer和consumer来验证Kafka是否已正确安装并能正确运行。...
分类：
其他好文 时间：
2016-04-01 10:18:39
阅读次数：
143
从昨天下午接到新任务，要采集一个法院网站得所有公告，大概是需要采集这个网站得所有公告列表里得所有txt内容，txt文件里边是一件件赤裸裸得案件，记录这案由，原告被告等相关属性（不知道该叫什么就称之为属性吧，汗），把这些文件放到本地某个目录，并把一个案件作为一条数据放入数据库中。本以为很轻松得用Jso ...
分类：
其他好文 时间：
2016-04-01 00:54:09
阅读次数：
466
1、启动kafka 2、zookeeper上查看节点信息 3、创建topic（2个分区，3个副本） 4、查看topic list 5、zookeeper上查看topic list信息 6、zookeeper上查看节点具体信息 7、kafka目录中查看节点信息 8、创建消费者 9、zookeeper中 ...
分类：
其他好文 时间：
2016-03-31 14:34:04
阅读次数：
192
HDFS 的备份功能不是给 基于 HBase 等 基于HDFS 的项目做备份的。 如果 HBase 需要备份，那么久需要设置 备份（快照 ）功能。 HMaster 、 kafka 等无主结构并不是自我实现的选举， 而是基于 ZooKeeper 的选举策略决策出新的 master HBase 创建表的... ...
分类：
其他好文 时间：
2016-03-30 16:16:55
阅读次数：
165
一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景 以下介绍消息队列在 ...
分类：
其他好文 时间：
2016-03-30 14:41:44
阅读次数：
241
大型网站架构系列：消息队列（二） 本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】 本次分享大纲 消息队列概述（见第一 ...
分类：
Web程序 时间：
2016-03-30 14:40:47
阅读次数：
280
消息队列：AMQP高级消息队列协议。MQ和JMS类似，但不同的是JMS是SUN JAVA消息中间件服务的一个标准和API定义，而MQ则是遵循了AMQP协议的具体实现和产品。目前，Spring唯一实现了RabbitMQ，但并不是说不支持其他的。大数据方面，一般使用Kafka。Producer： 创建连 ...
分类：
其他好文 时间：
2016-03-30 12:42:10
阅读次数：
136
Windows 7 安装Apache kafka_2.11-0.9.0.1 下载所需文件 Zookeeper: http://www.apache.org/dyn/closer.cgi/zookeeper/ Kafka :http://kafka.apache.org/downloads.html ...
