版本 0.9.2创建topicbin/kafka-topics.sh --create --topic topic_name --partition 6 --replication-factor 1 -zookeeper 10.27.100.207:2181,10.27.100.144:2181,1...
分类：
其他好文 时间：
2016-01-06 17:49:37
阅读次数：
190
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
编写python脚本statistic.py#!/usr/bin/python
"""pipinstallkazoo"""
"""pipinstallkafka-python"""
importtime
importthreading
fromkazoo.clientimportKazooClient
fromkafka.consumerimportKafkaConsumer
importelasticsearch
EARLYRES={}
def_get_partitions_logsize(topi..
分类：
其他好文 时间：
2016-01-04 18:26:44
阅读次数：
439
[Apache Kafka]Kafka设计在开始开发producer和consumer之前，先从设计的角度看一看Kafka。由于重度依赖JMS，且实现方式各异、对可伸缩架构的支持不够，LinkedIn开发了Kafka来实现对活动流数据和运营指标数据的监控，这些数据包括CPU、I/O使用数据、请求响应...
分类：
其他好文 时间：
2016-01-03 22:30:47
阅读次数：
297
1.配置package com.storm.storm_my.kafka;/** * * @author Peng.Li * */public class KafkaConfigApiConstant { /** * * @author 配置的key * *...
分类：
编程语言 时间：
2016-01-02 12:21:45
阅读次数：
329
Kafka简介在当前的大数据时代，第一个挑战是海量数据的收集，另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息，例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的...
分类：
其他好文 时间：
2016-01-02 01:05:40
阅读次数：
265
http://blog.csdn.net/lizhitao/article/details/25667831 -- 参考文章http://kafka.apache.org/documentation.html#serverconfig --官网
分类：
其他好文 时间：
2016-01-01 18:51:19
阅读次数：
149
原文：https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example为什么使用High Level Consumer在某些应用场景，我们希望通过多线程读取消息，而我们并不关心从Kafka消费消息的顺序，我们只关心数据能...
分类：
其他好文 时间：
2016-01-01 14:50:59
阅读次数：
166
1 package kafka.demo; 2 3 import java.util.ArrayList; 4 import java.util.List; 5 6 import storm.kafka.KafkaSpout; 7 import storm.kafka.SpoutConfig;...
分类：
其他好文 时间：
2015-12-30 22:06:58
阅读次数：
396
Centos6.7基于Zookeeper：http://www.cnblogs.com/blazer/p/4977217.html
分类：
其他好文 时间：
2015-12-30 13:37:03
阅读次数：
107
