Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类：
其他好文 时间：
2014-08-14 20:00:59
阅读次数：
283
一、简要说明日志记录了对服务器系统的一切操作，因此，对服务器日志的管理，是我们每个运维人员每天的必要工作，也是评估服务器安全状况的有效手段之一，可是如何管理众多服务器的日志？如果要是一台一台看的话，怕是不止盯的眼花缭乱，累也的累坏了。所以，我们要搭建一台日..
分类：
其他好文 时间：
2014-08-14 17:08:19
阅读次数：
392
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
这里我主要讲述我测试flume failover（容错）和load balance（负载均衡）的几个场景以及注意的点。...
分类：
其他好文 时间：
2014-08-14 16:48:08
阅读次数：
578
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
简介kafka网站上提供了C语言的客户端librdkafka，地址在这。librdkafka是使用C语言根据apache kafka 协议实现的客户端。另外这个客户端还有简单的c++接口。客户端作者对这个客户端比较上心，经常会修改bug并提交新功能。librdkafka的基本原理和我之前博客说的ja...
分类：
其他好文 时间：
2014-08-12 00:25:33
阅读次数：
766
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。
Apache Kafka与传统消息系统相比，有以下不同：
它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
...
分类：
其他好文 时间：
2014-08-11 15:08:32
阅读次数：
389
目录： 一、什么是kafka? 二、kafka的官方网站在哪里？ 三、在哪里下载？需要哪些组件的支持？ 四、如何安装？ 五、FAQ 六、扩展阅读 一、什么是kafka? kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kaf...
分类：
编程语言 时间：
2014-08-11 14:24:32
阅读次数：
496
目录： 一、什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二、flume的官方网站在哪里？ 三、在哪里下载？ 四、如何安装？ 五、flume的案例 1)案例1：Avro 2)...
分类：
其他好文 时间：
2014-08-10 21:12:21
阅读次数：
495
原文地址：http://blog.csdn.net/honglei915/article/details/37760631消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包括了一个版本和CRC32校验码。 /** * 具有N个字节的消息的格式例如以下 * * 假设版本是0 ...
分类：
其他好文 时间：
2014-08-09 15:45:28
阅读次数：
339
