kafka设计原理介绍背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafk....
分类：
其他好文 时间：
2015-04-25 22:44:13
阅读次数：
320
1. flume 的基本概念
本文中所有与 flume 相关术语都采用斜体英文表示，这些术语的含义如下所示。
flume 一个可靠的，分布式的，用于采集，聚合，传输海量日志数据的工具。
Web Server 一个产生 Events/数据 的客户端。
Agent flume 系统中的一个节点，它主要包含三个部件：Source, Channel...
分类：
Web程序 时间：
2015-04-24 22:43:31
阅读次数：
263
概览 最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写w...
分类：
Web程序 时间：
2015-04-24 19:38:34
阅读次数：
294
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消....
分类：
其他好文 时间：
2015-04-24 01:00:00
阅读次数：
219
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。一、Flume基础理论1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收集....
分类：
Web程序 时间：
2015-04-22 01:51:13
阅读次数：
166
在学计算机新知识时，第一件事情就是要写一个 “Hello World”，同样，在 flume 中，它的 “Hello World” 就是 run it。
1、flume 基本概要
(1) flume 是做什么的？
flume 是 apach 的开源项目，它主要用来收集数据，即将来源于不同节点的数据汇聚到一个中心节点。
(2) 数据在 flume 内部传输过程中是否会丢失数据？
flume...
分类：
Web程序 时间：
2015-04-20 22:39:54
阅读次数：
233
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin...
分类：
其他好文 时间：
2015-04-20 00:06:57
阅读次数：
151
