出自：http://my.oschina.net/jinp/blog/350293一些常用命令：storm相关：storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类：
Web程序 时间：
2014-12-08 00:45:15
阅读次数：
346
以下内容都为自己浅显的理解，用作备忘的流水账，所以写的比较混乱。如理解有错误，请帮忙指正 FLUME-NG中没有之前的对文件的实时流SOURCE，只提供了spoolDir的source，这个source的功能监控指定文件夹，放入文件夹内的文件不能再做任何修改（包括修改时间和文件大小），这2个错...
分类：
Web程序 时间：
2014-12-05 15:30:59
阅读次数：
349
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
主要的核心类如下：KafkaServer:根据相关的上下文，创建KafkaServer对象，负责启动broker对象启动过程zkClient初始化=>logManagerstart()=>socketServer
start()=>requestHandlerPool初始化=>replicaManagerstart()=>
kafkaControllerstart()=>topicConfigMa..
分类：
其他好文 时间：
2014-12-03 14:27:44
阅读次数：
208
主要的核心类如下：controller:根据相关的上下文，创建KafkaController对象，引入多个监听器监听broker，topic，partition以及副本的状态变化。ZookeeperLeaderElector：主要负责选举当前broker为lead的过程，同时，如果出现异常情况转移lead选举权。ReplicaStateMachine：主要..
分类：
其他好文 时间：
2014-12-02 12:02:38
阅读次数：
225
akka 并发编程框架
kafka 高吞吐量分布式消息系统
akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Actor模型并非什么新鲜事物，它由Carl Hewitt于上世纪70年代早期提出，目的是为了解决分布式编程中一系列的编程问题。其特点如下：
...
分类：
其他好文 时间：
2014-12-01 17:37:20
阅读次数：
343
摘自：http://my.oschina.net/leejun2005/blog/2881361、Flume 的一些核心概念：1.1 数据流模型1.2 高可靠性1.3 可恢复性2、Flume 整体架构介绍2.1 Exec source2.2 Spooling Directory Source3、常用...
分类：
Web程序 时间：
2014-11-26 15:51:08
阅读次数：
180
broker.id整数，建议根据ip区分 log.dirskafka存放消息文件的路径，默认/tmp/kafka-logsportbroker用于接收producer消息的端口 zookeeper.connnectzookeeper连接格式为 ip1:port,ip2:port,ip3:portme...
分类：
其他好文 时间：
2014-11-23 14:25:35
阅读次数：
210
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。...
分类：
其他好文 时间：
2014-11-19 01:40:39
阅读次数：
364
