原文:http://calvin1978.blogcn.com/articles/kafkaio.html关于文件IO和cache, 让我们对page cache不再陌生.0. Overview卡夫卡说：不要害怕文件系统。它就那么简简单单地用顺序写的普通文件，借力于Linux内核的Page Cach...
分类：
Web程序 时间：
2015-05-11 10:26:15
阅读次数：
168
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng+rocketmq+storm+redis+前端展示消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数..
分类：
其他好文 时间：
2015-05-09 20:31:03
阅读次数：
1639
Storm0.9.4安装 - OPEN 开发经验库bin/zkServer.sh start /home/guym/down/kafka_2.8.0-0.8.0/config/zookeeper.properties&bin/kafka-server-start.sh config/server.p...
分类：
其他好文 时间：
2015-05-06 20:57:48
阅读次数：
204
数据文件的分段 Kafka解决查询效率的手段之一是将数据文件分段，比如有100条Message，它们的offset是从0到99。假设将数据文件分成5段，第一段为0-19，第二段为20-39，以此类推，每段放在一个单独的数据文件里面，...
分类：
其他好文 时间：
2015-05-06 15:31:33
阅读次数：
118
数据文件的分段Kafka解决查询效率的手段之一是将数据文件分段，比如有100条Message，它们的offset是从0到99。假设将数据文件分成5段，第一段为0-19，第二段为20-39，以此类推，每段放在一个单独的数据文件里面，数据文件以该段中最小的offset命名。这样在查找指定offset的Messa..
分类：
其他好文 时间：
2015-05-06 15:20:35
阅读次数：
131
数据文件的分段
Kafka解决查询效率的手段之一是将数据文件分段，比如有100条Message，它们的offset是从0到99。假设将数据文件分成5段，第一段为0-19，第二段为20-39，以此类推，每段放在一个单独的数据文件里面，数据文件以该段中最小的offset命名。这样在查找指定offset的Message的时候，用二分查找就可以定位到该Message在哪个段中。
为数据文件建索引
...
分类：
其他好文 时间：
2015-05-06 15:09:04
阅读次数：
119
1.背景最近因为工作需要，调研了追求高吞吐的轻量级消息系统Kafka，打算替换掉线上运行的ActiveMQ，主要是因为明年的预算日流量有十亿，而ActiveMQ的分布式实现的很奇怪，所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验，欢迎拍砖。2.基础知识2.1.什么是消...
分类：
其他好文 时间：
2015-05-06 14:46:25
阅读次数：
175
bin/zkServer.sh start /home/guym/down/kafka_2.8.0-0.8.0/config/zookeeper.properties&bin/kafka-server-start.sh config/server.propertiesbin/kafka-create...
分类：
Web程序 时间：
2015-05-06 14:34:37
阅读次数：
236
