码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
实践部署与使用apache kafka框架技术博文资料汇总
本文内容目录ji 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监控指标 6)kafka.common.ConsumerRebalanceFailedException异常解决办法 7)kafak安装与使用 8)apache k...
分类:Web程序   时间:2014-11-19 01:36:35    阅读次数:3557
kafka的三种部署模式
kafka的3种部署模式的详细步骤。...
分类:其他好文   时间:2014-11-18 11:48:28    阅读次数:363
基于Flume的美团日志收集系统(一)架构和设计【转】
美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计,将主要着眼于日志收集系...
分类:Web程序   时间:2014-11-18 11:44:44    阅读次数:312
20141114bug
kafka自动关闭进程:[2014-11-14 13:04:20,901] INFO [Controller 2]: Controller shutdown complete (kafka.controller.KafkaController)原因:cluster的server.properties...
分类:其他好文   时间:2014-11-17 10:20:35    阅读次数:224
Storm Trident API 实践
一、概要      1.1 Storm(简介)      Storm是一个实时的可靠地分布式流计算框架。      具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。 1.2 Tride...
分类:Windows程序   时间:2014-11-14 15:42:08    阅读次数:2971
Storm Trident 详细介绍
一、概要      1.1 Storm(简介)      Storm是一个实时的可靠地分布式流计算框架。      具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类:其他好文   时间:2014-11-14 14:15:48    阅读次数:291
Kafka学习(一)配置及简单命令使用
一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成message>对然...
分类:其他好文   时间:2014-11-13 22:37:11    阅读次数:353
Flume 1.5日志采集并存入mongodb的安装搭建
Flume的介绍就不多说了,大家可以自己搜索。但是目前网上大都是Flume 1.4版本或之前的资料,Flume 1.5感觉变化挺大的,如果你准备尝试一下,我这里给大家介绍一下最小化搭建方案,并且使用MongoSink将数据存入mongodb。完全单机运行,没有master,没有collector(说白了collector也就是一个agent,只是数据来源于多个其他agent),只有一个agent。...
分类:数据库   时间:2014-11-13 16:39:29    阅读次数:464
(六)storm-kafka源码走读之PartitionManager
PartitionManager算是storm-kafka核心的代码了,主要负责message读取、发送、容错处理等等...
分类:其他好文   时间:2014-11-09 22:18:01    阅读次数:435
(二)storm-kafka源码走读之Config相关类走读
详细介绍了Storm-Kafka模块中Config的相关配置信息,就是扫盲的一篇介绍而已...
分类:其他好文   时间:2014-11-08 15:19:54    阅读次数:220
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!