启动kafka：./kafka-server-start.sh ../config/server.properties &查看topic./kafka-topics.sh --zookeeper 192.168.8.56:2181,192.168.8.70:2181,192.168.8.147:21...
分类：
其他好文 时间：
2015-12-26 11:33:51
阅读次数：
182
查看进程netstat -tnlp | egrep "(9097)"lsof -i:9097ps -ef | grep kafka观察句柄变化lsof -p $pid | wc -l直接查看句柄输出到文件lsof -p $pid >> handle_log.txt查找文件find ./ -type ...
分类：
系统相关 时间：
2015-12-26 11:31:43
阅读次数：
179
最近在做一个分布式调用链跟踪系统，在两个地方采用了flume ,一个是宿主系统 ，用flume agent进行日志搜集。 一个是从kafka拉日志分析后写入hbase.后面这个flume（从kafka拉日志分析后写入flume)用了3台 , 系统上线以后 ，线上抛了一个这样的异常：Caused by...
分类：
Web程序 时间：
2015-12-23 19:44:15
阅读次数：
1098
kafka集群部署方案ZooKeeper第一步主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集..
分类：
其他好文 时间：
2015-12-23 16:23:08
阅读次数：
393
Purgatory是Kafka server中处理请求时使用的一个重要的数据结构。正好研究ReplicaManager源码的时候发现了这篇文章，顺便翻译下。由于这个proposal里的很多东西需要看源码才能理解得比较清楚，但是代码还是比较多的，所以先大概讲一下其中的一些概念和原理，以便于阅读接下来的...
分类：
其他好文 时间：
2015-12-21 23:42:20
阅读次数：
341
摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与R....
分类：
其他好文 时间：
2015-12-18 18:58:59
阅读次数：
240
本文已授权InfoQ独家发表，如需转载请注明出处并与InfoQ中文站联系。InfoQ首发地址为http://www.infoq.com/cn/articles/kafka-analysis-part-2摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或.....
分类：
其他好文 时间：
2015-12-18 18:34:22
阅读次数：
277
This value controls when a produce request is considered completed. Specifically, how many other brokers must have committed the data to their log and...
分类：
其他好文 时间：
2015-12-18 14:36:20
阅读次数：
246
DelayedOperation包括两种：DelayedFetch和DelayedProduce，它们的存在是由Kafka Protocol决定的，而Kafka Protocol是由实际需求决定的……存在DelayedFetch是为了更有效率的fetch，也就是batch fetch；存在Delay...
分类：
其他好文 时间：
2015-12-17 22:32:59
阅读次数：
261
#include "stdafx.h" #include #include #include #include using namespace std; DWORD WINAPI Consumer(void*);//声明消费者函数 DWORD WINAPI Producer(void...
分类：
其他好文 时间：
2015-12-17 22:25:39
阅读次数：
270
