在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数？ “我应该选择几个分区？”——如果你在Kafka中国社区的群里，这样的问题你会经常碰到的。不过有些遗憾的....
分类：
编程语言 时间：
2015-08-25 14:12:36
阅读次数：
257
先上几个git地址，明天测试 https://github.com/linkedin/camus https://github.com/voyage-h/kafka-hadoop-consumer https://github.com/voyage-h/kafka-hadoop-consumer...
分类：
其他好文 时间：
2015-08-25 13:04:43
阅读次数：
152
当你编写kafka Producer时， 会生成KeyedMessage对象。 KeyedMessage<K,?V>?keyedMessage?=?new?KeyedMessage<>(topicName,?key,?message) 这里的key值可以为空，在这种情况下， kafka会将这个消息发送到哪...
分类：
其他好文 时间：
2015-08-25 13:03:42
阅读次数：
334
ZooKeeper
安装
#将ZooKeeper解压到/usr/local中
tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local
cd /usr/local
#重命名
sudo mv zookeeper-3.4.6 zookeeper
cd zookeeper/conf
sudo cp zoo_sample.cfg zoo.cfg
配置
...
分类：
其他好文 时间：
2015-08-19 13:35:19
阅读次数：
168
kafka的并行度与JStorm性能优化
> Consumers
Messaging traditionally has two models: queuing and publish-subscribe. In a queue, a pool of consumers may read from a server and each message goes to one of th...
分类：
Web程序 时间：
2015-08-18 01:20:54
阅读次数：
1040
转载自http://blog.chinaunix.net/uid-20196318-id-2420884.htmlKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运...
分类：
其他好文 时间：
2015-08-17 11:44:06
阅读次数：
105
转自：http://blog.csdn.net/honglei915/article/details/37564521原文地址：http://blog.csdn.net/honglei915/article/details/37564521介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它...
分类：
其他好文 时间：
2015-08-16 18:16:02
阅读次数：
110
1.kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据
Step 1: Download the code
Download the
0.8.2.0 release and un-tar it.
> tar -xzf kafka_2.10-0.8.2.0.tgz
> cd kafka_2.10-0.8.2.0
Ste...
分类：
其他好文 时间：
2015-08-16 12:23:45
阅读次数：
179
1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
