kafka最早是linkedin开发的一套高性能类队列结构,具有发布—订阅功能。现在是apache的项目之一。支持很多种客户端从其中进行consume,网上也有许多第三方的客户端(注1),但下面我们只使用其自己的包中的方法,来进行consume。我们的这个例子是从一个servlet中调用kafka的
分类:
其他好文 时间:
2016-02-12 10:33:35
阅读次数:
258
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。作者:Sugar Su链接:http://zhuanlan.zhihu.com/ms15213/20545422来源:知乎 此文稿来源于太阁实验室每周三晚上的weekly tech show,活动注册链接:https://atten
分类:
其他好文 时间:
2016-02-10 14:18:56
阅读次数:
223
系统Centos6.5 工具SecureCRT 1.首先下载kafka压缩包 kafka_2.9.2-0.8.1.1.tgz 解压 tar -zxvf kafka_2.9.2-0.8.1.1.tgz 2.修改配置文件 首先要有zookeeper ,安装zookeeper 步骤在另外一随笔里 http
分类:
其他好文 时间:
2016-02-04 18:24:42
阅读次数:
274
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties b
分类:
编程语言 时间:
2016-02-03 18:19:57
阅读次数:
221
用 threading.Event() 也可以实现生产者/消费者模式 (自己拍脑袋想出来的,无法知道其正确性,请大神告知为谢!) import threading import time import random products = 20 class Producer(threading.Thr
分类:
编程语言 时间:
2016-02-03 06:40:07
阅读次数:
286
消息指针(Message cursor)是activeMQ里一个非常重要的核心类,它是提供某种优化消息存储的方法。消息中间件的实现一般都是当消费者准备好消费消息的时候,它会从持久化存储中一批一批的读取消息,并发送给消费者。消息指针维护着下一批待读取消息的相关位置信息。 消息游标: 当producer
分类:
其他好文 时间:
2016-02-02 23:22:57
阅读次数:
284
项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表。我们采用了Kafka+Storm+Zookeeper的解决方案。之前没有接触过,经过一段时间的研究,最终完成了项目。接下来的内容我将介绍我们的解决方案。供大家参考。我们的系统结构如下
分类:
其他好文 时间:
2016-01-31 21:37:34
阅读次数:
270
新建了一个kafka集群,在window下写了一个简单的producer做测试,结果遇到了消息发送失败的问题,代码如下: Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:666...
分类:
其他好文 时间:
2016-01-31 02:45:19
阅读次数:
363
1,准备工作: windows下虚拟机上安装centos7,下载putty工具。 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个
分类:
其他好文 时间:
2016-01-30 22:33:59
阅读次数:
237
kafka数据迁移操作流程:此次数据迁移主要是针对Isr自动同步异常,而进行手动干预的操作。具体的故障截图如下:一、确认同步异常的topic和Isr数目./kafka-topics.sh--under-replicated-partitions--describe--zookeeperIP:2181二、创建文件/tmp/topics-to-move.jsonvim/tmp/top..
分类:
其他好文 时间:
2016-01-28 19:39:12
阅读次数:
561