#coding=utf-8from pykafka import KafkaClientimport codecsimport logginglogging.basicConfig(level = logging.INFO)client = KafkaClient(hosts = "172.16.8...
分类：
编程语言 时间：
2015-11-18 16:11:58
阅读次数：
594
Kafka 作为 high throughput 的消息中间件，以其性能，简单和稳定性，成为当前实时流处理框架中的主流的基础组件。当然在使用 Kafka 中也碰到不少问题，尤其是 failover 的问题，常常给大家带来不少困扰和麻烦。 所以在梳理完 kafka 源码的基础上，尽量用通俗易懂的方式，...
分类：
其他好文 时间：
2015-11-17 18:46:02
阅读次数：
249
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-11-17 16:31:21
阅读次数：
192
原文链接：Kafka实战－Flume到Kafka1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据...
分类：
Web程序 时间：
2015-11-16 19:33:28
阅读次数：
195
1. Flume的安装配置2. flume和kafka整合（转）
分类：
Web程序 时间：
2015-11-16 15:40:26
阅读次数：
106
kafka：(./kafka-server-start.sh ../config/server.properties &)flume：(bin/flume-ng agent -n agent -c conf -f conf/flume-node -Dflume.monitoring.type=htt...
分类：
其他好文 时间：
2015-11-16 10:46:09
阅读次数：
126
大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向当前相关的项目有hadoop、Spark、Aaka、kafka、flink等等，使用语言有java、scala、python等等对大数据有兴趣者可以参考王老师提供的相关内容，具体如下：王家林的第一个中国梦：免费为全社会培养...
分类：
其他好文 时间：
2015-11-14 20:39:03
阅读次数：
393
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。Kafka主要的shell脚本有[hadoop@nnodekafka0.8.2.1]$ll
总计80
-rwxr-xr-x1hadoophadoop9432015-02-27kafka-console-consumer.sh
-rwxr-xr-x1hadoophadoop9422015-02-27kafka-console-producer.sh
-rwxr-xr..
分类：
系统相关 时间：
2015-11-13 19:14:42
阅读次数：
1196
（转）http://www.cnblogs.com/davidwang456/p/4178056.htmlExploring Message Brokers: RabbitMQ, Kafka, ActiveMQ, and Kestrel--reference[This article was ori...
分类：
其他好文 时间：
2015-11-13 14:37:09
阅读次数：
346
1. 首先启动zookeeper2. 启动kafka3. 核心代码生产者生产消息的java代码，生成要统计的单词package streaming;import java.util.Properties; import kafka.javaapi.producer.Producer; impo...
分类：
编程语言 时间：
2015-11-12 17:56:35
阅读次数：
493
