kafka安装文档
1、解压缩(官网下载:http://kafka.apache.org/downloads.html)
tar -xzf kafka_2.10-0.8.2.0.tgz
cd kafka_2.10-0.8.2.0
2、启动server服务(包括zookeeper服务、kafka服务)
bin/zookeeper-server-start.sh conf...
分类：
其他好文 时间：
2015-07-30 00:49:04
阅读次数：
141
生产者
import java.util.Properties;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import kafka.serializer.StringEncoder;
...
无意中发现每两年都会找一个新课题去学习。默默的自己也成为一名老网工。今年刚把DC整出来，再来一个挑战，尝试写分解实验。谁叫我是个死磕技术的胖子。扔个目录UnifiedInfrastructure-Nexus实验部分编号实验名简介1752了解下思科数据中心的752构架2Nexus7K基础介绍VDC的类型、..
分类：
其他好文 时间：
2015-07-28 01:05:31
阅读次数：
230
做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” ? 1）.数据采集 负责从各节点上实时采集数据，选用cloud...
分类：
Web程序 时间：
2015-07-27 21:13:48
阅读次数：
185
上一篇中分析了Scala版的console producer代码，这篇文章来分析一下console consumer的工作原理。其实不论是哪个consumer，大部分的工作原理都是类似的。我们用console consumer作为切入点，既容易理解又不失一般性。首先需要说明的，我使用的Kafka环境...
分类：
其他好文 时间：
2015-07-26 12:37:42
阅读次数：
653
最近在搞kafak+storm+flume实时处理，但是kafka与storm总是会自己莫名死掉，查看日志就是下面的内容： 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类：
其他好文 时间：
2015-07-22 16:44:13
阅读次数：
134
最近在家研习面经，温习基础，索性花些时间将本科期间完成的一些学习之作整理出来，分享之余顺便水点经验。需要的同学可以从这边下载到引擎与我的项目，仅供学习参考，谢谢。
分类：
其他好文 时间：
2015-07-22 01:28:36
阅读次数：
152
elasticsearch.ymlcluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: "Franz Kafka"节点名，默认随...
分类：
其他好文 时间：
2015-07-21 23:32:50
阅读次数：
178
看如下代码段，kafka sink的key完全取决于上游发来的event中的header。所以，如果前面的source是像exec这样的source，由于其中的header为null，所以到了这就发到kafka中就是没key的。没key的情况下，kafka就做不了...
分类：
其他好文 时间：
2015-07-21 15:30:56
阅读次数：
97
以读取kafka metrics为例。 实际使用中可将读取的metrics存入时序数据库中，然后从页面展示。kafka-manager等不支持历史的指标展示。 JMXClient.scala import?javax.management.remote.{JMXConnector,?JMXConn...
分类：
其他好文 时间：
2015-07-21 15:30:47
阅读次数：
124
