简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩...
分类：
Web程序 时间：
2016-01-10 10:27:30
阅读次数：
1222
http://blog.talkingdata.net/?p=3165背景当时的现状：开始使用Kafka的时候，使用的版本是0.7.2，当时的目的是为了替代kestrel，主要是使用Kafka来做消息传输中间件。Kafka解决了我们当时使用Kestrel遇到的最大的三个问题：吞吐量、数据量、一份数据...
分类：
其他好文 时间：
2016-01-09 17:03:46
阅读次数：
226
http://www.haokoo.com/internet/2877400.htmlKafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则...
分类：
其他好文 时间：
2016-01-09 16:54:30
阅读次数：
159
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址： Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1 broker....
分类：
其他好文 时间：
2016-01-08 00:23:57
阅读次数：
665
apache kafka参考http://kafka.apache.org/documentation.html消息队列方式：点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经...
分类：
其他好文 时间：
2016-01-08 00:22:22
阅读次数：
182
前言： 最近在研究spark 还有 kafka ， 想通过kafka端获取的数据，利用spark streaming进行一些计算，但搭建整个环境着实不易，故特此写下该过程，分享给大家，希望大家可以少走点弯路，能帮到大家！环境准备： 操作系统 ： ubuntu14.04 LT...
分类：
其他好文 时间：
2016-01-06 21:52:47
阅读次数：
3007
版本 0.9.2创建topicbin/kafka-topics.sh --create --topic topic_name --partition 6 --replication-factor 1 -zookeeper 10.27.100.207:2181,10.27.100.144:2181,1...
分类：
其他好文 时间：
2016-01-06 17:49:37
阅读次数：
190
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
编写python脚本statistic.py#!/usr/bin/python
"""pipinstallkazoo"""
"""pipinstallkafka-python"""
importtime
importthreading
fromkazoo.clientimportKazooClient
fromkafka.consumerimportKafkaConsumer
importelasticsearch
EARLYRES={}
def_get_partitions_logsize(topi..
分类：
其他好文 时间：
2016-01-04 18:26:44
阅读次数：
439
