码迷,mamicode.com
首页 >  
搜索关键字:kafka    ( 4273个结果
kafka源码分析之一server启动分析
1. 分析kafka源码的目的 深入掌握kafka的内部原理 深入掌握scala运用 2. server的启动 如下所示(本来准备用时序图的,但感觉时序图没有思维图更能反映,故采用了思维图): 2.1 启动入口Kafka.scala 从上面的思维导图,可以看到Kafka的启动入口是Kafka.sca
分类:其他好文   时间:2016-02-14 14:11:29    阅读次数:523
使用原生方法从kafka消费消息
kafka最早是linkedin开发的一套高性能类队列结构,具有发布—订阅功能。现在是apache的项目之一。支持很多种客户端从其中进行consume,网上也有许多第三方的客户端(注1),但下面我们只使用其自己的包中的方法,来进行consume。我们的这个例子是从一个servlet中调用kafka的
分类:其他好文   时间:2016-02-12 10:33:35    阅读次数:258
如何设计Kafka?
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。作者:Sugar Su链接:http://zhuanlan.zhihu.com/ms15213/20545422来源:知乎 此文稿来源于太阁实验室每周三晚上的weekly tech show,活动注册链接:https://atten
分类:其他好文   时间:2016-02-10 14:18:56    阅读次数:223
Centos下 安装和测试kafka
系统Centos6.5 工具SecureCRT 1.首先下载kafka压缩包 kafka_2.9.2-0.8.1.1.tgz 解压 tar -zxvf kafka_2.9.2-0.8.1.1.tgz 2.修改配置文件 首先要有zookeeper ,安装zookeeper 步骤在另外一随笔里 http
分类:其他好文   时间:2016-02-04 18:24:42    阅读次数:274
kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties b
分类:编程语言   时间:2016-02-03 18:19:57    阅读次数:221
Storm实时日志分析实战
项目背景 最近公司做一个项目,用户需要对网站访问者的广告点击/浏览记录进行实时统计分析,分析结果存入数据库,输出报表。我们采用了Kafka+Storm+Zookeeper的解决方案。之前没有接触过,经过一段时间的研究,最终完成了项目。接下来的内容我将介绍我们的解决方案。供大家参考。我们的系统结构如下
分类:其他好文   时间:2016-01-31 21:37:34    阅读次数:270
开发环境解决 kafka Failed to send messages after 3 tries
新建了一个kafka集群,在window下写了一个简单的producer做测试,结果遇到了消息发送失败的问题,代码如下: Properties props = new Properties(); props.put("metadata.broker.list", "192.168.1.107:666...
分类:其他好文   时间:2016-01-31 02:45:19    阅读次数:363
kafka单机环境搭建
1,准备工作: windows下虚拟机上安装centos7,下载putty工具。 2,windows下下载相关的安装包 jdk-8u71-linux-x64.rpm kafka_2.11-0.9.0.0.tgz zookeeper-3.4.6.tar.gz 3,通过putty的pscp工具将上述3个
分类:其他好文   时间:2016-01-30 22:33:59    阅读次数:237
kafka数据迁移
kafka数据迁移操作流程:此次数据迁移主要是针对Isr自动同步异常,而进行手动干预的操作。具体的故障截图如下:一、确认同步异常的topic和Isr数目./kafka-topics.sh--under-replicated-partitions--describe--zookeeperIP:2181二、创建文件/tmp/topics-to-move.jsonvim/tmp/top..
分类:其他好文   时间:2016-01-28 19:39:12    阅读次数:561
kafka群集管理
Kafka版本0.8.1-0.8.2一、创建topic模板:/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh--create--zookeeperIP:2181--replication-factor2--partitions30--topicTEST二、删除topic模板:(指定所有zookeeperserverIP)/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-run-class.shk..
分类:其他好文   时间:2016-01-28 19:31:15    阅读次数:205
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!