码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
消息中间件(十四)-----kafka高可用以及在zookeeper中的存储
kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同 ...
分类:其他好文   时间:2020-06-04 20:10:00    阅读次数:56
一、kafka 介绍 && kafka-client
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。 Kafka 主要起到削峰 ...
分类:其他好文   时间:2020-06-04 19:38:12    阅读次数:162
Flume-0.9.4和Hbase-0.96整合
这几天由于项目的需要,需要将Flume收集到的日志插入到Hbase中,有人说,这不很简单么?Flume里面自带了Hbase sink,可以直接调用啊,还用说么?是的,我在本博客的《Flume-1.4.0和Hbase-0.96.0整合》文章中就提到如何用Flume和Hbase整合,从文章中就看出整个过 ...
分类:Web程序   时间:2020-06-04 10:26:08    阅读次数:83
Kafka的生产者优秀架构设计
Kafka是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉Kafka的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。Kafka的核心源码分为两部分:客户端源码和服务端源码,客户端又分为生产者和消费者,而个人认为Kafka的源码里面生产者的源码技术含量最高,所以今天给大家剖析Kafka的生
分类:其他好文   时间:2020-06-04 01:31:44    阅读次数:50
Shell 直接向kafka 的Topic发送消息
1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条消息发送到Topic sky里面 echo "hello" ...
分类:系统相关   时间:2020-06-03 23:08:22    阅读次数:153
Kafka的生产者优秀架构设计
Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分:客户端源码和服务端源码,客户端 ...
分类:其他好文   时间:2020-06-03 17:29:19    阅读次数:68
kafka--环境搭建
2.1.3 集群部署 1)解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2)修改解压后的文件名称 [atguigu@hadoop102 module]$ mv kafka_2.11 ...
分类:其他好文   时间:2020-06-03 00:48:54    阅读次数:81
大数据消息队列--Kafka概括
1.1.2 消息队列的两种模式 1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。 消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但 ...
分类:其他好文   时间:2020-06-03 00:41:04    阅读次数:180
Kafka的四个基础概念学习【转】
Kafka 创建背景 Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用 ...
分类:其他好文   时间:2020-06-02 13:23:04    阅读次数:70
kafka
一、kafka的基础架构 1)Producer :消息生产者,就是向kafka broker发消息的客户端; 2)Consumer :消息消费者,向kafka broker取消息的客户端; 3)Consumer Group (CG):消费者组,由多个consumer组成。消费者组内每个消费者负责消费 ...
分类:其他好文   时间:2020-06-02 11:14:14    阅读次数:69
5097条   上一页 1 ... 39 40 41 42 43 ... 510 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!