1.背景最近因为工作需要，调研了追求高吞吐的轻量级消息系统Kafka，打算替换掉线上运行的ActiveMQ，主要是因为明年的预算日流量有十亿，而ActiveMQ的分布式实现的很奇怪，所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验，欢迎拍砖。2.基础知识2.1.什么是消...
分类：
其他好文 时间：
2014-12-21 20:36:57
阅读次数：
290
2014-12-19 01:05:42,141 (lifecycleSupervisor-1-1) [WARN - org.apache.flume.sink.AbstractRpcSink.start(AbstractRpcSink.java:294)] Unable to create Rpc ...
分类：
Web程序 时间：
2014-12-20 09:16:07
阅读次数：
461
文章来自：http://www.cnblogs.com/hark0623/p/4174646.html 转发请注明在CDH中用了几天flume后才发现，原来CDH中的flume默认是启动的…………我还自己去启动flume呢。。怪不得监听端口时告诉我端口已被占用了呢。
分类：
Web程序 时间：
2014-12-19 20:40:43
阅读次数：
170
kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为环境配置：
CentOSrelease6.3(Final)
jdk版本：jdk-6u31-linux-x64-rpm.bin
zookeeper版..
分类：
其他好文 时间：
2014-12-19 19:23:50
阅读次数：
225
文章来自：http://www.cnblogs.com/hark0623/p/4173714.html 转发请注明因业务需求，需要flume收集MQTT(Mosquitto)的数据。 方法就是flume自定义source，source中来订阅(subscribe)MQTTflume source的j...
分类：
Web程序 时间：
2014-12-19 14:22:28
阅读次数：
269
object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new File(".").getCanonicalPath() System.getProperties().put("h...
分类：
Web程序 时间：
2014-12-18 20:32:51
阅读次数：
255
如何做集成，其实特别简单，网上其实就是教程。http://blog.csdn.net/fighting_one_piece/article/details/40667035 看这里就成。 我用的是第一种集成。。做的时候，出现了各种问题。 大概从从2014.12.17 早晨5点搞到2014.12.1....
分类：
Web程序 时间：
2014-12-17 20:39:08
阅读次数：
241
2014年11月25日，Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug，改进了与Kafka的集成，并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0....
分类：
其他好文 时间：
2014-12-17 20:12:03
阅读次数：
223
做kafka相关项目，需要用到监控的东东，找到了两个方法第一个：http://quantifind.com/KafkaOffsetMonitor/非常容易上手，效果也直观，可以显示各个topic consumer的offset broker存储log的长度不过发现一个bug就是当 consumer没...
分类：
其他好文 时间：
2014-12-17 17:55:21
阅读次数：
768
郑昀 基于刘金鑫文档 最后更新于2014/12/1 关键词： recsys 、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql 本文档适用人员：研发 ? 推荐系统可不仅仅是围着推荐算法...
分类：
其他好文 时间：
2014-12-17 16:38:41
阅读次数：
458
