Don't think it is supported yet. Take a look at thisJIRA trackingDelete Topic. For delete manuallyShutdown the clusterClean kafka log dir (specified b...
分类：
其他好文 时间：
2014-07-11 22:50:35
阅读次数：
328
具体参考: 官方用户手册和开发指南http://flume.apache.org/FlumeDeveloperGuide.html*) 定位和简单例子1). Flume-ng-sdk是用于编写往flume agent发送数据的client sdk2). 简单示例RpcClient client = ...
分类：
其他好文 时间：
2014-07-11 21:12:08
阅读次数：
256
本节主要从整体角度介绍Kafka的设计思想，其中的每个理念都可以深入研究，以后我可能会发专题文章做深入介绍，在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容：
Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制
一、kafka由来
由于对JMS日常管理的过度开支和...
分类：
其他好文 时间：
2014-07-11 00:59:04
阅读次数：
246
上篇文章中我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topci，发送和接收消息。下面我们来搭建kafka的开发环境。
大家开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用另一种更加流行的方式，使用maven管理jar包依赖。
创建好maven项目后，在...
分类：
其他好文 时间：
2014-07-11 00:12:15
阅读次数：
313
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumers.
Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker....
分类：
其他好文 时间：
2014-07-11 00:01:24
阅读次数：
197
一、整体看一下Kafka
我们知道，Kafka系统有三大组件：Producer、Consumer、broker 。
producers 生产消息并推(push)送给brokers，consumers从brokers把消息提取(pull)出来。
二、开发一个Producer应用
Producers用来生产消息并把产生的消息推送到Kafka...
分类：
其他好文 时间：
2014-07-10 23:07:37
阅读次数：
263
Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。
我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面：太多的琐碎的I/O操作和太多的字节拷贝。...
分类：
其他好文 时间：
2014-07-10 22:24:30
阅读次数：
260
4.2 Persistence（持久化）
不要畏惧文件系统!
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。
在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随即写的速度却是...
分类：
其他好文 时间：
2014-07-10 21:59:28
阅读次数：
260
rsyslog是强大而小巧的日志系统，可以汇总client的日志到server，但是其推荐的imrelp/omrelp协议在默认配置时，有端口号限制，查起来比较麻烦。中文资料这方面内容就没有，解决起来走了不少弯路。希望给大家借鉴一下。...
分类：
其他好文 时间：
2014-07-09 12:26:27
阅读次数：
310
（1）取消将日志记录在/var/log/messages目录中默认会也将haproxy日志记录在/var/log/message中，要去掉。#vi/etc/rsyslog.conflocal3.*/var/log/haproxy.loglocal0.*/var/log/haproxy.log*.info;mail.none;authpriv.none;cron.none;local3.none/var/log/messages（2）haproxy..
分类：
其他好文 时间：
2014-07-08 08:20:44
阅读次数：
478
