最近在搞kafak+storm+flume实时处理，但是kafka与storm总是会自己莫名死掉，查看日志就是下面的内容： 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类：
其他好文 时间：
2015-07-22 16:44:13
阅读次数：
134
elasticsearch.ymlcluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.name: "Franz Kafka"节点名，默认随...
分类：
其他好文 时间：
2015-07-21 23:32:50
阅读次数：
178
看如下代码段，kafka sink的key完全取决于上游发来的event中的header。所以，如果前面的source是像exec这样的source，由于其中的header为null，所以到了这就发到kafka中就是没key的。没key的情况下，kafka就做不了...
分类：
其他好文 时间：
2015-07-21 15:30:56
阅读次数：
97
以读取kafka metrics为例。 实际使用中可将读取的metrics存入时序数据库中，然后从页面展示。kafka-manager等不支持历史的指标展示。 JMXClient.scala import?javax.management.remote.{JMXConnector,?JMXConn...
分类：
其他好文 时间：
2015-07-21 15:30:47
阅读次数：
124
1、所有主机需要安装JDK，并配置JDK环境变量 2、所有主机安装SSH，并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts，保证各机器通过机器名可以互访 4、安装python 2.6及以上（storm用） 5、ZeroMQ Java代...
分类：
Web程序 时间：
2015-07-20 17:06:59
阅读次数：
170
一、MQ（Message Queue）即 消息队列，一般用于应用系统解耦、消息异步分发，能够提高系统吞吐量。MQ的产品有很多，有开源的，也有闭源，比如ZeroMQ、RabbitMQ、 ActiveMQ、Kafka/Jafka、Kestrel、Beanstalkd、HornetQ、Apache Qpi...
分类：
其他好文 时间：
2015-07-19 17:53:17
阅读次数：
197
Kafka[是linkedin(是一个公司)用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时...
分类：
其他好文 时间：
2015-07-18 17:01:43
阅读次数：
176
【https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka】淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开...
分类：
其他好文 时间：
2015-07-17 15:34:48
阅读次数：
127
这是一篇学习笔记。
学习的材料来自于我读过的最好的一篇分布式技术文章，没有之一。...
分类：
其他好文 时间：
2015-07-16 14:09:58
阅读次数：
208
本文是作者研究Flume的一些内容摘要，包括Flume最新的版本及flume的相关组件介绍。...
分类：
Web程序 时间：
2015-07-16 00:54:03
阅读次数：
524
