背景：1.服务器：linuxIP地址分别为：10.243.1.17，10.243.1.18，10.243.1.192.kafka版本：kafka_2.10-0.8.2.23.安装路径：/usr/local/搭建zookeeper集群1.进入解压后的目录/usr/local/kafka_2.10-0.8.2.22.进入config目录下，修改zookeeper.properties文件tickTime=2000dataDi..
分类：
其他好文 时间：
2016-04-05 20:16:54
阅读次数：
554
Logstash配置 input { kafka { zk_connect => "127.0.0.1:2181" topic_id => "cluster" codec => plain reset_beginning => false consumer_threads => 5 dec... ...
分类：
Web程序 时间：
2016-04-05 19:53:28
阅读次数：
230
#!usr/bin/env python 2 #coding: utf-8 3 #Author: Andy 4 5 import threading 6 import time 7 8 def producer(): 9 print('等人来买包子。。。') 10 event.wait() 11 e ...
分类：
其他好文 时间：
2016-04-03 18:51:21
阅读次数：
269
kafka安装到linux服务器中的情况较多，但是我们现在在学习当中，所以可以拿windows先试试手。要想学kafk那么必然要做一件事就是安装好kafka，下面我讲详细得windows下安装kafka得步骤告诉大家。 第一步:先安装jdk,因为kafka依赖于Java环境,所以确保你的系统中装有J ...
分类：
其他好文 时间：
2016-04-03 17:30:41
阅读次数：
145
kafka概念： kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据。比方网页的訪问量pm,日志等，既可以实时处理大数据信息 也能离线处理。 特点： 1.高吞吐量 2.是一种显式的分布式系统，它如果，数据生产者（producer）,代理（brokers）和数据使用者（consumer） ...
分类：
其他好文 时间：
2016-04-02 13:38:56
阅读次数：
302
首先解释下2个名词：
AR(assignreplicas):分配副本 ISR(in-sync replicas)：在同步中的副本，即下图：
Partition {
topic : string //topic名称
partition_id...
分类：
其他好文 时间：
2016-04-01 18:24:25
阅读次数：
254
Kafka依赖于ZooKeeper，所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper，但是还是建议大家单独部署ZooKeeper集群，因为可能其他框架也需要使用ZooKeeper。安装完毕后，可通过创建topic，控制台模拟producer和consumer来验证Kafka是否已正确安装并能正确运行。...
分类：
其他好文 时间：
2016-04-01 10:18:39
阅读次数：
143
从昨天下午接到新任务，要采集一个法院网站得所有公告，大概是需要采集这个网站得所有公告列表里得所有txt内容，txt文件里边是一件件赤裸裸得案件，记录这案由，原告被告等相关属性（不知道该叫什么就称之为属性吧，汗），把这些文件放到本地某个目录，并把一个案件作为一条数据放入数据库中。本以为很轻松得用Jso ...
分类：
其他好文 时间：
2016-04-01 00:54:09
阅读次数：
466
1、启动kafka 2、zookeeper上查看节点信息 3、创建topic（2个分区，3个副本） 4、查看topic list 5、zookeeper上查看topic list信息 6、zookeeper上查看节点具体信息 7、kafka目录中查看节点信息 8、创建消费者 9、zookeeper中 ...
分类：
其他好文 时间：
2016-03-31 14:34:04
阅读次数：
192
