本文是从英文的官网摘了翻译的，用作自己的整理和记录。水平有限，欢迎指正。版本是： kafka_2.10-0.10.0.0
一、基础概念
主题：Kafka maintains feeds of messages in categories called topics.
生产者：We’ll call processes that publish messages to a Kafka to...
分类：
编程语言 时间：
2016-06-27 10:41:58
阅读次数：
332
本篇介绍用python写脚本，抓取系统metrics，然后调用kafkaclientlibrary把metrics吐给kafka的案例分享。对于用kafka的同学实用性很高。在运行本实例前需要先下载两个python库到本地：six和kafka-pythoncatconfig_system_metrics.json{"env":{"site":"cluster","component":"nam..
分类：
编程语言 时间：
2016-06-26 17:00:48
阅读次数：
942
kafka集群搭建 下面简单的介绍一下kafka的集群搭建，单个kafka的安装更简单，下面以集群搭建为例子。 我们设置并部署有三个节点的 kafka 集合体，必须在每个节点上遵循下面的步骤来启动 kafka 服务器，kafka集群需要依赖zookeeper集群，上一篇已经说道了zookeeper的 ...
分类：
其他好文 时间：
2016-06-26 00:37:13
阅读次数：
475
zookeeper概念 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名 服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于 ...
分类：
其他好文 时间：
2016-06-24 23:28:50
阅读次数：
296
简单的输入输出做完了，来点复杂点儿的场景：从某个topic定于消息，然后根据空格分词，统计单词数量，然后将当前输入的单词数量推送到另一个topic。首先规划需要用到的类：从KafkaSpout接收数据并进行处理的backtype.storm.spout.Scheme子类；数据切分bolt：SplitSentenceBolt..
分类：
其他好文 时间：
2016-06-23 19:01:57
阅读次数：
629
文章来源 Kafka入门经典教程http://www.aboutyun.com/thread-12882-1-1.html Kafka官网介绍 http://kafka.apache.org/documentation.html#introduction Kafka剖析（一）：Kafka背景及架构介 ...
分类：
其他好文 时间：
2016-06-22 21:46:55
阅读次数：
457
kafka 下载http://kafka.apache.org/downloads.html解压tar -zxvf kafka_2.10-0.8.1.1.tgz启动服务首先启动zookeeper服务bin/zookeeper-server-start.sh config/zookeeper.prop ...
分类：
其他好文 时间：
2016-06-22 01:40:14
阅读次数：
139
在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计 ...
分类：
其他好文 时间：
2016-06-21 15:18:08
阅读次数：
362
Logstash2.x版本kafka升级V1前言Logstash2.x版本output-kafka插件只支持kafka-0.8.x版本。但是工作中我们可能用到0.9.x版本的kafka。故而需要升级Logstash-output-kafka插件至3.x版本。安装依赖包yum-yinstallrubyrubygemsruby-devel
gemsources--addhttps://ruby.taobao.org/-..
分类：
其他好文 时间：
2016-06-20 22:30:36
阅读次数：
1057
本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】 本次分享大纲 消息队列概述（见第一篇：大型网站架构系列：分布式消息队 ...
分类：
Web程序 时间：
2016-06-16 20:09:37
阅读次数：
259
