1.背景最近因为工作需要，调研了追求高吞吐的轻量级消息系统Kafka，打算替换掉线上运行的ActiveMQ，主要是因为明年的预算日流量有十亿，而ActiveMQ的分布式实现的很奇怪，所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验，欢迎拍砖。2.基础知识2.1.什么是消...
分类：
其他好文 时间：
2014-12-21 20:36:57
阅读次数：
290
kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为环境配置：
CentOSrelease6.3(Final)
jdk版本：jdk-6u31-linux-x64-rpm.bin
zookeeper版..
分类：
其他好文 时间：
2014-12-19 19:23:50
阅读次数：
225
2014年11月25日，Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug，改进了与Kafka的集成，并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类：
其他好文 时间：
2014-12-17 20:12:03
阅读次数：
223
做kafka相关项目，需要用到监控的东东，找到了两个方法第一个：http://quantifind.com/KafkaOffsetMonitor/非常容易上手，效果也直观，可以显示各个topic consumer的offset broker存储log的长度不过发现一个bug就是当 consumer没...
分类：
其他好文 时间：
2014-12-17 17:55:21
阅读次数：
768
郑昀 基于刘金鑫文档 最后更新于2014/12/1 关键词： recsys 、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql 本文档适用人员：研发 ? 推荐系统可不仅仅是围着推荐算法...
分类：
其他好文 时间：
2014-12-17 16:38:41
阅读次数：
458
原文地址：https://kafka.apache.org/documentation.html#semantics 1、开始 1.1 引言 Kafka是一个分布式，分区队列，冗余备份的消息存储服务。它是一个有独特设计的消息系统。 这是什么意思呢？ 首先我们介绍下相关的基本通信概念： ...
分类：
其他好文 时间：
2014-12-14 09:26:53
阅读次数：
273
http://blog.csdn.net/zxcvg/article/details/18600335http://www.aboutyun.com/thread-8317-1-1.htmlhttp://blog.csdn.net/lskyne/article/details/37564449美团数...
分类：
Web程序 时间：
2014-12-13 12:09:38
阅读次数：
207
Release Notes - Apache Storm - Version 0.9.2-incubating Sub-task [STORM-207] - Add storm-starter as a module [STORM-208] - Add storm-kafka as a module [STORM-223] - Safe YAML Parsing [STORM-232] - ...
分类：
Web程序 时间：
2014-12-12 15:07:15
阅读次数：
429
采集层 主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。...
分类：
Web程序 时间：
2014-12-12 13:27:34
阅读次数：
209
MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，目前在淘宝和支付...
分类：
Web程序 时间：
2014-12-10 22:42:01
阅读次数：
288
