Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。...
分类：
其他好文 时间：
2014-11-19 01:40:39
阅读次数：
364
本文内容目录ji
1）apache kafka消息服务
2）kafka在zookeeper中存储结构
3）kafka log4j配置
4）kafka replication设计机制
5）apache kafka监控系列-监控指标
6）kafka.common.ConsumerRebalanceFailedException异常解决办法
7）kafak安装与使用
8）apache k...
分类：
Web程序 时间：
2014-11-19 01:36:35
阅读次数：
3557
kafka自动关闭进程：[2014-11-14 13:04:20,901] INFO [Controller 2]: Controller shutdown complete (kafka.controller.KafkaController)原因：cluster的server.properties...
分类：
其他好文 时间：
2014-11-17 10:20:35
阅读次数：
224
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类：
Windows程序 时间：
2014-11-14 15:42:08
阅读次数：
2971
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类：
其他好文 时间：
2014-11-14 14:15:48
阅读次数：
291
一. Kafka中的相关概念的介绍
Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下:
Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成message>对然...
分类：
其他好文 时间：
2014-11-13 22:37:11
阅读次数：
353
简介
Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？
在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道...
分类：
其他好文 时间：
2014-11-13 19:05:44
阅读次数：
321
PartitionManager算是storm-kafka核心的代码了，主要负责message读取、发送、容错处理等等...
分类：
其他好文 时间：
2014-11-09 22:18:01
阅读次数：
435
详细介绍了Storm-Kafka模块中Config的相关配置信息，就是扫盲的一篇介绍而已...
分类：
其他好文 时间：
2014-11-08 15:19:54
阅读次数：
220
