削去秒杀场景下的峰值写流量 而在秒杀场景下，高并发的写请求并不是持续的，也不是经常发生的，而只有在秒杀活动开始后的几秒或者十几秒时间内才会存在。为了应对这十几秒的瞬间写高峰，将秒杀请求暂存在消息队列中，然后业务服务器会响应用户“秒杀结果正在计算中”，释放了系统资源之后再处理其它用户的请求。 在后台启 ...
分类：
其他好文 时间：
2020-06-27 19:50:29
阅读次数：
118
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
##一、引入kafka pom三方配置 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</version> </dependency> ##二 ...
分类：
其他好文 时间：
2020-06-26 13:04:18
阅读次数：
54
kafka是什么Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的，发布/订阅模式的消息队列（Message Queue），Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展，Kafka已经由最初的日志 ...
分类：
其他好文 时间：
2020-06-25 10:16:04
阅读次数：
74
消息队列 为什么用? 解耦，削峰，异步 基本模型 生产者 -> MQ -> 消费者 Kafka 十万级/s 适用于大数据领域实时计算，日志采集, ActiveMQ 万/s , RabbitMQ 万/s , RocketMQ 十万/s 造成问题及解决 1.系统可用性降低 (MQ发生故障，全崩了) 2. ...
分类：
其他好文 时间：
2020-06-24 19:24:18
阅读次数：
68
一、消息队列概述 消息队列（MessageQueue，简称为MQ）其本质是就是个队列，FIFO先进先出，只不过是队列中储放的主要内容是message，因而叫消息队列主要用于：不同的服务server、进程process、线程thread相互间通信二、选用消息队列的场景①异步处理②流量控制③服务解耦④发 ...
分类：
系统相关 时间：
2020-06-24 00:34:13
阅读次数：
122
Reids 在内存存储引擎领域的一大优点是提供 list 和 set 操作，这使得 Redis 能作为一个很好的消息队列平台来使用。Redis 作为队列使用的操作，就类似于本 地程序语言（如 Python）对 list 的 push/pop 操作。 如果你快速的在 Google 中搜索“Redis ...
分类：
其他好文 时间：
2020-06-23 18:42:38
阅读次数：
45
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
ansible 和saltstack对比 SaltStack 底层有一个消息队列：Zero-MQ（message queue） # 1.ansible是基于ssh协议来工作的，但是saltstack也有支持ssh协议的模式 # 2.但是一般来说，选择saltstack就是为了使用客户端和服务端的方式 ...
分类：
其他好文 时间：
2020-06-21 00:30:27
阅读次数：
50
前言 这是消息队列系列的开篇，简单介绍一些概念。 正文 我觉得使用消息队列主要有两点好处：1.通过异步处理提高系统性能（削峰、减少响应所需时间）;2.降低系统耦合性。 如上图，在不使用消息队列服务器的时候，用户的请求数据直接写入数据库，在高并发的情况下数据库压力剧增，使得响应速度变慢。 但是在使用消 ...
分类：
其他好文 时间：
2020-06-20 23:51:55
阅读次数：
60
