目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题,实现高可用? 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类:
其他好文 时间:
2020-03-27 10:40:50
阅读次数:
117
kafka的基本概念 kafka是什么 ? ? kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 kafka扮演的三大角色 消息系统 :kafka具备系统解耦、冗余存储、流 ...
分类:
其他好文 时间:
2020-03-20 10:47:33
阅读次数:
76
RocketMQ 是一个来自阿里巴巴的分布式消息中间件,于 2012 年开源,并在 2017 年正式成为 Apache 顶级项目。据了解,包括阿里云上的消息产品以及收购的子公司在内,阿里集团的消息产品全线都运行在 RocketMQ 之上,并且最近几年的双十一大促中,RocketMQ 都有抢眼表现。A ...
分类:
其他好文 时间:
2020-03-20 09:18:34
阅读次数:
303
以编程为乐——自勉。 一、编程基础 java基础 集合 JVM 多线程 数据结构 算法题 设计模式 二、Linux linux使用及问题排查 三、web后端开发 Spring框架 MyBatis框架 数据库优化 网络协议 分布式消息 分布式缓存 分布式事务 分布式架构 四、web前端开发 组建式开发 ...
分类:
Web程序 时间:
2020-03-03 20:46:26
阅读次数:
78
1. 概述 Kafka是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统。 2. Kafka的特性 (1)高吞吐量、低延迟:Kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个主题topic可以分为多个分区partition,消费者组consumer grou ...
分类:
其他好文 时间:
2020-03-01 19:38:00
阅读次数:
72
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类:
其他好文 时间:
2020-02-23 11:38:34
阅读次数:
61
前提之前有个打算在学习RabbitMQ之前,把AMQP详细阅读一次,挑出里面的重点内容。后来找了下RabbitMQ的官方文档,发现了有一篇文档专门介绍了RabbitMQ中实现的AMQP模型部分,于是直接基于此文档和个人理解写下这篇文章。AMQP协议AMQP全称是AdvancedMessageQueuingProtocol,它是一个(分布式)消息传递协议,使用和符合此协议的客户端能够基于使用和符合此
分类:
其他好文 时间:
2020-02-22 23:38:53
阅读次数:
75
kafka 分布式,基于zookeeper协调的分布式消息系统,支持分区(partition)多副本(replica) 每秒10万的吞吐量,零拷贝,不经过内存 端口默认9092 1、消费者 producer 自己决定向哪个partition生产消息,两种机制:hash,轮询 2、partiton 分 ...
分类:
其他好文 时间:
2020-02-21 14:48:16
阅读次数:
76
spring cloud alibaba 微服务一站式解决方案基于spring cloud 功能 翻译 选择 Distributed/versioned configuration 分布式/版本化的配置管理 Spring Cloud Config、Consul、Nacos、Zookeeper Ser ...
分类:
编程语言 时间:
2020-02-18 09:42:39
阅读次数:
221
高并发大访问量架构设计演进之路 归纳总结 第01:大型架构的演进之路第02(上):分布式缓存第02(下):分布式缓存第03:分布式消息队列第04:分布式数据存储第05:分布式服务框架第06:高性能系统架构第07:高可用系统架构第08:系统的安全架构第09:架构实战案例分析第10:如何成为技术专家 系 ...
分类:
其他好文 时间:
2020-02-14 16:15:39
阅读次数:
47