1. 分析kafka源码的目的 深入掌握kafka的内部原理 深入掌握scala运用 2. server的启动 如下所示(本来准备用时序图的,但感觉时序图没有思维图更能反映,故采用了思维图): 2.1 启动入口Kafka.scala 从上面的思维导图,可以看到Kafka的启动入口是Kafka.sca
分类:
其他好文 时间:
2016-02-14 14:11:29
阅读次数:
523
kafka最早是linkedin开发的一套高性能类队列结构,具有发布—订阅功能。现在是apache的项目之一。支持很多种客户端从其中进行consume,网上也有许多第三方的客户端(注1),但下面我们只使用其自己的包中的方法,来进行consume。我们的这个例子是从一个servlet中调用kafka的
分类:
其他好文 时间:
2016-02-12 10:33:35
阅读次数:
258
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。作者:Sugar Su链接:http://zhuanlan.zhihu.com/ms15213/20545422来源:知乎 此文稿来源于太阁实验室每周三晚上的weekly tech show,活动注册链接:https://atten
分类:
其他好文 时间:
2016-02-10 14:18:56
阅读次数:
223
系统Centos6.5 工具SecureCRT 1.首先下载kafka压缩包 kafka_2.9.2-0.8.1.1.tgz 解压 tar -zxvf kafka_2.9.2-0.8.1.1.tgz 2.修改配置文件 首先要有zookeeper ,安装zookeeper 步骤在另外一随笔里 http
分类:
其他好文 时间:
2016-02-04 18:24:42
阅读次数:
274
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties b
分类:
编程语言 时间:
2016-02-03 18:19:57
阅读次数:
221
项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表。我们采用了Kafka+Storm+Zookeeper的解决方案。之前没有接触过,经过一段时间的研究,最终完成了项目。接下来的内容我将介绍我们的解决方案。供大家参考。我们的系统结构如下
分类:
其他好文 时间:
2016-01-31 21:37:34
阅读次数:
270
新建了一个kafka集群,在window下写了一个简单的producer做测试,结果遇到了消息发送失败的问题,代码如下: Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:666...
分类:
其他好文 时间:
2016-01-31 02:45:19
阅读次数:
363
1,准备工作: windows下虚拟机上安装centos7,下载putty工具。 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个
分类:
其他好文 时间:
2016-01-30 22:33:59
阅读次数:
237
kafka数据迁移操作流程:此次数据迁移主要是针对Isr自动同步异常,而进行手动干预的操作。具体的故障截图如下:一、确认同步异常的topic和Isr数目./kafka-topics.sh--under-replicated-partitions--describe--zookeeperIP:2181二、创建文件/tmp/topics-to-move.jsonvim/tmp/top..
分类:
其他好文 时间:
2016-01-28 19:39:12
阅读次数:
561
Kafka版本0.8.1-0.8.2一、创建topic模板:/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh--create--zookeeperIP:2181--replication-factor2--partitions30--topicTEST二、删除topic模板:(指定所有zookeeperserverIP)/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-run-class.shk..
分类:
其他好文 时间:
2016-01-28 19:31:15
阅读次数:
205