码迷,mamicode.com
首页 >  
搜索关键字:kafka    ( 4273个结果
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
原文:http://www.aboutyun.com/thread-9341-1-1.html 问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存...
分类:其他好文   时间:2015-11-11 16:51:26    阅读次数:308
Kafka备忘
官网http://kafka.apache.org/多生产者多消费者多topic和多分区多消费者组。每组中消息不能重复消费,组间不影响启动RunKafka(){ cd $kafka_home nohup ./bin/zookeeper-server-start.sh ./config/z...
分类:其他好文   时间:2015-11-11 16:13:58    阅读次数:332
zookeeper,kafka,jstorm,memcached,mysql流式数据处理平台部署
一.平台环境介绍:1.系统信息:项目信息系统版本:Ubuntu14.04.2LTS\n\l用户:*****密码:******Java环境:openjdk-7-jre语言:en_US.UTF-8,en_US:en磁盘:每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录hcloud15最为DB,第二块磁盘为2000G主机范围:192.168.21.7..
分类:数据库   时间:2015-11-10 01:52:59    阅读次数:1073
MetaQ 高可用配置(异步复制和同步复制)
介绍 Meta相比于kafka的一个重要特性就是消息高可用方案的实现,我们称之为HA方案。消息在发送到broker之后立即写入磁盘才返回客户端告诉消息生产者消息发送成功,通过unflushThreshold和unflushInterval两个参数...
分类:Web程序   时间:2015-11-09 21:06:28    阅读次数:560
大数据架构之:Kafka
Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统,利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费Kakfa特点:解耦:消息系统在处理过程中插入一个隐含、基于数据的接口层。冗余....
分类:其他好文   时间:2015-11-09 20:58:24    阅读次数:440
Kafka0.8.2删除topic逻辑(转)
原文链接:Kafka0.8.2.1删除topic逻辑前提条件: 在启动broker时候开启删除topic的开关,即在server.properties中添加:delete.topic.enable=true命令:bin/kafka-topics.sh --zookeeper zk_host:port...
分类:其他好文   时间:2015-11-09 20:52:22    阅读次数:5517
apache kafka监控系列-KafkaOffsetMonitor(转)
原文链接:apache kafka监控系列-KafkaOffsetMonitor 概览最 近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不 能集中看整个集群情况。或者一个cluster中br...
分类:Web程序   时间:2015-11-09 20:33:24    阅读次数:399
Kafka原理与java simple producer示例
brokers和消费者使用zk来获取状态信息和追踪消息坐标。 每一个partition是一个有序的,不可变的消息序列。 只有当partition里面的file置换到磁盘文件以后,才开放给消费者来消费。 每一个partition是跨服务器地被复制到其他地方,为了容错的目的。 这个partition可以...
分类:编程语言   时间:2015-11-09 18:31:44    阅读次数:364
使用 Kafka 和 Spark Streaming 构建实时数据处理系统(转)
原文链接:http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&utm_source=tuicool引言在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据...
分类:其他好文   时间:2015-11-09 10:32:03    阅读次数:367
【转载】kafka的工作原理
http://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行...
分类:其他好文   时间:2015-11-08 14:49:21    阅读次数:250
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!