一.入门 1.1 简介 Kafka is a distributed, partitioned, replicatedcommit log service. 它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现. kafka对消息保存时根据Topic进行归类,发送...
分类：
其他好文 时间：
2014-12-08 19:27:43
阅读次数：
229
1?Kafka操作日志的删除方法 Kafka0.8版本长时间运行过程中，在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2014-12-08-03和s...
分类：
其他好文 时间：
2014-12-08 12:37:43
阅读次数：
308
出自：http://my.oschina.net/jinp/blog/350293一些常用命令：storm相关：storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类：
Web程序 时间：
2014-12-08 00:45:15
阅读次数：
346
还有慢慢摸索，NG的MYSQL配置，我始终没搞好。RSYSLOG则比较容易。另外，也可以每个RSYSLOG直接入库，不需要经过LOG SERVER。。如果有一个大内网的话。。。配合LOGANALYZER可进行简单的自定义日志管理 。
分类：
其他好文 时间：
2014-12-05 17:05:24
阅读次数：
374
以下内容都为自己浅显的理解，用作备忘的流水账，所以写的比较混乱。如理解有错误，请帮忙指正 FLUME-NG中没有之前的对文件的实时流SOURCE，只提供了spoolDir的source，这个source的功能监控指定文件夹，放入文件夹内的文件不能再做任何修改（包括修改时间和文件大小），这2个错...
分类：
Web程序 时间：
2014-12-05 15:30:59
阅读次数：
349
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
主要的核心类如下：KafkaServer:根据相关的上下文，创建KafkaServer对象，负责启动broker对象启动过程zkClient初始化=>logManagerstart()=>socketServer
start()=>requestHandlerPool初始化=>replicaManagerstart()=>
kafkaControllerstart()=>topicConfigMa..
分类：
其他好文 时间：
2014-12-03 14:27:44
阅读次数：
208
主要的核心类如下：controller:根据相关的上下文，创建KafkaController对象，引入多个监听器监听broker，topic，partition以及副本的状态变化。ZookeeperLeaderElector：主要负责选举当前broker为lead的过程，同时，如果出现异常情况转移lead选举权。ReplicaStateMachine：主要..
分类：
其他好文 时间：
2014-12-02 12:02:38
阅读次数：
225
