前言: Flume-ng是数据收集/聚合/传输的组件, Flume-ng抛弃了Flume OG原本繁重的zookeeper和Master, Collector, 其整体的架构更加的简洁和明了. 其基础组件就Agent进程, 内部又可以细分为Source, Channel, Sink三个组件, S.....
分类：
其他好文 时间：
2014-07-07 00:26:46
阅读次数：
355
SpillableMemoryChannel是1.5版本新增的一个channel。这个channel优先将evnet放在内存中，一旦内存达到设定的容量就使用file channel写入磁盘。然后读的时候会按照顺序读取：会通过一个DrainOrderQueue来保证不管是内存中的还是溢出(本文的“.....
分类：
其他好文 时间：
2014-07-06 16:41:08
阅读次数：
296
背景是设计一个实时数据接入的模块，负责接收客户端的实时数据写入（如日志流，点击流），数据支持直接下沉到HBase上（后续提供HBase上的查询），或先持久化到Kafka里，方便后续进行一些计算和处理，再下沉到文件系统或做别的输出。
在设计中，对于客户端和服务端有这么些目标。
客户端需要支持多语言（Java，C++），做得尽量轻量级，只要连上服务端的ip:port，以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理，服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类：
其他好文 时间：
2014-07-04 08:59:19
阅读次数：
552
# Kfaka的体系结构
# 学习前言
Kafka的整个学习过程就是自己看官网的文档，出错了找各种错，各种百度Google什么的，还好最后都解决了，不然就坑爹了，伤不起啊！英语真心也是硬伤，还是好好学英语，多记记单词吧！看官方文档还是有点压力的，不过压力就是动力，人生就该如此，这几天有点小忙，今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307的群哦，一起学习，共同进步 ...
# Kafka介绍
# 介...
分类：
编程语言 时间：
2014-07-03 18:41:34
阅读次数：
392
Metrics-Java版的指标度量工具之一 Metrics-Java版的指标度量工具之二 JAVA Metrics 度量工具使用介绍1 JAVA Metrics度量工具 - Metrics Core 翻译 http://blog.synyx.de/2013/09/yammer-metrics-ma...
分类：
其他好文 时间：
2014-07-01 21:16:39
阅读次数：
344
一.server端1.vim /etc/rsyslog.conf--------------------------------------编辑日志系统接收配置文件 # Provides TCP syslog reception $ModLoad imtcp $InputTCPServerRu...
分类：
其他好文 时间：
2014-06-30 23:11:02
阅读次数：
285
本篇blog教你如果使用kafka工具进行迁移和扩容相关topic。...
分类：
其他好文 时间：
2014-06-30 00:37:22
阅读次数：
337
在kafka中，每一个broker都是一个服务器。按照一般理解，服务器就是一个SocketServer，其不断接收用户的请求并进行处理。在Java中进行网络连接有两种方式一种为阻塞模式一种为非阻塞模式。Jafka采用非阻塞模式进行网络通讯。在Java的非阻塞模式中，建立socket server的一般流程如下：
1.启动ServerSocketChannel并将其绑定到特定的端口。
2.将Se...
分类：
其他好文 时间：
2014-06-28 09:25:54
阅读次数：
235
在Kafka中，LogManager负责管理broker上所有的Log（每一个topic-partition为一个Log）。通过阅读源代码可知其具体完成的功能如下：
1. 按照预设规则对消息队列进行清理。
2. 按照预设规则对消息队列进行持久化（flush操作）。
3. 连接ZooKeeper进行broker、topic、partition相关的ZooKeeper操作。
4. 管理brok...
分类：
其他好文 时间：
2014-06-28 08:25:21
阅读次数：
208
Kafka是一个分布式的消息中间件，可以粗略的将其划分为三部分：Producer、Broker和Consumer。其中，Producer负责产生消息并负责将消息发送给Kafka；Broker可以简单的理解为Kafka集群中的每一台机器，其负责完成消息队列的主要功能（接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....)；Consumer从Broker获取消息并进行后续的操作。...
分类：
其他好文 时间：
2014-06-27 23:55:13
阅读次数：
387
