apache-flume1.6 sink默认支持kafka [FLUME-2242] - Flume Sink and Source for Apache Kafka 官方给的例子很贴心，可以直接运行=，=，详细配置之后慢慢看。 a1.channels = channel1 a1.sources = src-1 a1.sinks...
分类：
Web程序 时间：
2015-08-10 18:18:21
阅读次数：
831
笔者博文：妳那伊抹微笑博客地址：http://blog.csdn.net/u012185296个性签名：世界上最遥远的距离不是天涯，也不是海角，而是我站在妳的面前。妳却感觉不到我的存在技术方向：Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar...
分类：
编程语言 时间：
2015-08-09 09:26:51
阅读次数：
161
from kafka.client import KafkaClient
client = KafkaClient(“zookeeper_host”)
topic_list = client.topics...
分类：
编程语言 时间：
2015-08-04 21:16:01
阅读次数：
179
一、环境一台Centos6.5主机Mongo 3.0Kafka_2.11-0.8.2.1Storm-0.9.5Zookeeper-3.4.6java 1.7 （后因在mac上打包的jar由1.8编译没法儿运行，改为java 1.8）其余环境暂略二、运行启动启动zookeeper确认配置正确，配置相关...
分类：
数据库 时间：
2015-08-04 19:05:17
阅读次数：
756
每个kafka broker中配置文件server.properties默认必须配置的属性如下：
[java] view
plaincopy
broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket....
分类：
Web程序 时间：
2015-08-04 13:41:59
阅读次数：
116
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服...
分类：
其他好文 时间：
2015-08-04 13:37:40
阅读次数：
101
Step 1: 下载Kafka
点击下载最新的版本并解压.
> tar -xzf kafka_2.9.2-0.8.1.1.tgz
> cd kafka_2.9.2-0.8.1.1
Step 2: 启动服务
Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这样就可以启动后离开控制台。
> ...
分类：
系统相关 时间：
2015-08-04 13:35:34
阅读次数：
167
RocketMQ 源码分析RocketMQ 的设计思想来自于Kafka,在具体设计时体现了自己的选择和需求，具体差别可以看RocketMQ与Kafka对比（18项差异）。接下来记录下自己阅读源码的一些探索。
RocketMQ的整体架构如下，可以看到各个组件充当的角色，Name Server 负责维护一些全局的路由信息：当前有哪些broker，每个Topic在哪个broker上等; Broker具体处...
分类：
其他好文 时间：
2015-08-01 23:37:44
阅读次数：
754
高吞吐的分布式消息系统相当于一个大缓存架构伪分布式的安装tar -xzf kafka_2.10-0.8.1.1.tgz启动ZK bin/zookeeper-server-start.sh config/zookeeper.properties启动服务 bin/kafka-server-start.s...
分类：
其他好文 时间：
2015-07-31 23:29:13
阅读次数：
202
