码迷,mamicode.com
首页 >  
搜索关键字:dataguard broker 创建和启用    ( 1409个结果
LinkedIn 定制 Kafka,互联网大厂是如何每天处理 7 万亿条消息
Apache Kafka 是 LinkedIn 基础设施的核心组件,最初是作为内部流式处理平台而诞生的,后来被开源出来,并得到了外部的广泛采用。虽然有很多公司和项目在使用 Kafka,但他们的数据规模很少能够达到 LinkedIn 这样。Kafka 被广泛地应用在 LinkedIn 的软件栈中,用于活动追踪、消息交换、指标收集,等等。LinkedIn 有 100 多个 Kafka 集群,其中包含了 4000 多个 broker,总共有 10 万多个 topic 和 700 万个分区。截止到目前,LinkedIn 的 Kafka 集群每天处理的消息数量超过了 7 万亿条。
分类:其他好文   时间:2019-11-09 00:24:55    阅读次数:134
Kafka学习
一、消息队列作用:解耦、削峰、缓冲(生产速度和消费速度不一致) 二、消息队列的两种模式:点对点模式(一对一)、发布订阅模式(一对多 1. 消费者主动拉取消息 2. 队列主动推消息) 三、基础架构: A、Broker kafka的一个进程(集群的一个节点) >>>Topic 主题,将数据分类 >>>P ...
分类:其他好文   时间:2019-11-08 19:08:51    阅读次数:99
rocketmq使用记录
单机部署 如果有多网卡, 启动nameserver, broker时要指定使用的ip 修改jvm内存占用参数 运维控制台 https://github.com/apache/rocketmq externals/blob/master/rocketmq console/doc/1_0_0/UserG ...
分类:其他好文   时间:2019-11-03 16:25:10    阅读次数:86
celery框架
Celery架构 Celery架构由三部分组成,消息中间件(message broker) , 任务执行单元(worker) 和任务执行结果储存(backend-task result store)组成 安装的celery主体模块,默认只提供worker,要结合其他技术提供broker和backen ...
分类:其他好文   时间:2019-11-03 01:26:08    阅读次数:72
celery异步框架
一、什么是celery Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 二、Celery架构 Celery的架构由三部分组成,消息中间件(message broker)、任务执行单元(worker)和 任务执行结果存储(task re ...
分类:其他好文   时间:2019-11-02 18:11:17    阅读次数:75
Celery架构
cerely是什么? cerely被用来稍后执行某些代码,或者调度器调度这些代码。 Celery架构 Celery的架构由三部分组成,消息中间件(message broker)、任务执行单元(worker)和 任务执行结果存储(backend - task result store)组成。 消息中间 ...
分类:其他好文   时间:2019-10-31 23:59:07    阅读次数:168
Spark Streaming整合Kafka
0)摘要 主要介绍了Spark Streaming整合Kafka,两种整合方式:Receiver-based和Direct方式。这里使用的是Kafka broker version 0.8.2.1,官方文档地址:(http://spark.apache.org/docs/2.2.0/streamin ...
分类:其他好文   时间:2019-10-31 23:40:35    阅读次数:97
Kafka管理与监控——调优
1、JVM参数配置优化 如果使用的CMS GC算法,建议JVM Heap不要太大,在4GB以内就可以。JVM太大,导致Major GC或者Full GC产生的“stop the world”时间过长,导致broker和zk之间的session超时,比如重新选举controller节点和提升follo ...
分类:其他好文   时间:2019-10-31 10:37:50    阅读次数:297
rabbitMQ基础知识--消息确认机制之生产者端的确认机制
一:消息确认种类 RabbitMQ的消息确认有两种。 一种是消息发送确认。这种是用来确认生产者将消息发送给交换器,交换器传递给队列的过程中,消息是否成功投递。发送确认分为两步,一是确认是否到达交换器,二是确认是否到达队列。 第二种是消费接收确认。这种是确认消费者是否成功消费了队列中的消息。 具体建议 ...
分类:其他好文   时间:2019-10-27 01:13:10    阅读次数:64
Celery
Celery 一 、什么是Clelery Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统专注于实时处理的异步任务队列 同时也支持任务调度 1. Celery架构 的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task ...
分类:其他好文   时间:2019-10-25 00:05:26    阅读次数:98
1409条   上一页 1 ... 25 26 27 28 29 ... 141 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!