原文链接:Kafka0.8.2.1删除topic逻辑前提条件: 在启动broker时候开启删除topic的开关,即在server.properties中添加:delete.topic.enable=true命令:bin/kafka-topics.sh --zookeeper zk_host:port...
分类:
其他好文 时间:
2015-11-09 20:52:22
阅读次数:
5517
原文链接:apache kafka监控系列-KafkaOffsetMonitor 概览最 近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不 能集中看整个集群情况。或者一个cluster中br...
分类:
Web程序 时间:
2015-11-09 20:33:24
阅读次数:
399
brokers和消费者使用zk来获取状态信息和追踪消息坐标。 每一个partition是一个有序的,不可变的消息序列。 只有当partition里面的file置换到磁盘文件以后,才开放给消费者来消费。 每一个partition是跨服务器地被复制到其他地方,为了容错的目的。 这个partition可以...
分类:
编程语言 时间:
2015-11-09 18:31:44
阅读次数:
364
原文链接:http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&utm_source=tuicool引言在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据...
分类:
其他好文 时间:
2015-11-09 10:32:03
阅读次数:
367
http://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行...
分类:
其他好文 时间:
2015-11-08 14:49:21
阅读次数:
250
Quick Start This tutorial assumes you are starting fresh and have no existing Kafka or ZooKeeper data. Step 1: Download the code? Download?the 0.8.2.0 release and un-tar it. >?tar?-xzf?kafka_2...
分类:
其他好文 时间:
2015-11-05 22:43:06
阅读次数:
271
采集层?主要可以使用Flume, Kafka两种技术。 Flume:Flume?是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API. Kafka:Kafka是一个可持久化的分布式的消息队列。 Kafka?是一个非常通用的系统...
分类:
Web程序 时间:
2015-11-05 16:57:29
阅读次数:
216
转载自http://blog.csdn.net/xiaolang85/article/details/18048631==是什么==简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)目标Scope(解决什么问题)kafka开发的主要初衷目标是构建一个...
分类:
其他好文 时间:
2015-11-03 00:33:47
阅读次数:
144
最近在学习kafka,参考官网上的文档,概括kafka的主要设计点,希望能帮助大家对kafka的设计有一个大概的了解,没说清楚的地方,或者不对的地方希望大家指出,相互帮助学习,4.kafka设计简介12344.1动机高吞吐量以支持大数据量的事件流,例如实时日志集结能很好处理大数据积压以..
分类:
其他好文 时间:
2015-11-02 12:15:26
阅读次数:
241
架构图数据流向图1.Flume 的一些核心概念:2.数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成,如下图: Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带....
分类:
数据库 时间:
2015-11-01 22:42:13
阅读次数:
505