一、消息队列概述 消息队列（MessageQueue，简称为MQ）其本质是就是个队列，FIFO先进先出，只不过是队列中储放的主要内容是message，因而叫消息队列主要用于：不同的服务server、进程process、线程thread相互间通信二、选用消息队列的场景①异步处理②流量控制③服务解耦④发 ...
分类：
系统相关 时间：
2020-06-24 00:34:13
阅读次数：
122
Reids 在内存存储引擎领域的一大优点是提供 list 和 set 操作，这使得 Redis 能作为一个很好的消息队列平台来使用。Redis 作为队列使用的操作，就类似于本 地程序语言（如 Python）对 list 的 push/pop 操作。 如果你快速的在 Google 中搜索“Redis ...
分类：
其他好文 时间：
2020-06-23 18:42:38
阅读次数：
45
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
系统日志文件 rsyslog主要是用来收集系统产生的各种日志，日志文件默认放在/var/log目录下。 常用日志 /var/log/boot.log 存储服务启动与停止信息 /var/log/dmesg 存储系统启动时显示在屏幕的内核信息，包含了系统中硬件状态的检查信息。 /var/log/mess ...
分类：
系统相关 时间：
2020-06-21 10:11:34
阅读次数：
111
ansible 和saltstack对比 SaltStack 底层有一个消息队列：Zero-MQ（message queue） # 1.ansible是基于ssh协议来工作的，但是saltstack也有支持ssh协议的模式 # 2.但是一般来说，选择saltstack就是为了使用客户端和服务端的方式 ...
分类：
其他好文 时间：
2020-06-21 00:30:27
阅读次数：
50
前言 这是消息队列系列的开篇，简单介绍一些概念。 正文 我觉得使用消息队列主要有两点好处：1.通过异步处理提高系统性能（削峰、减少响应所需时间）;2.降低系统耦合性。 如上图，在不使用消息队列服务器的时候，用户的请求数据直接写入数据库，在高并发的情况下数据库压力剧增，使得响应速度变慢。 但是在使用消 ...
分类：
其他好文 时间：
2020-06-20 23:51:55
阅读次数：
60
第一阶段：基础架构设计与实践之道篇第一单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(上)第二单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(下)第三单元掌握高可用架构设计基本原则智能互联网之核心技术实践篇（上）第四单元掌握核心技术之分布式资源哲学本质和思维智能互联网之核心技术实践篇（中）第五单元掌握网关/分布式锁的哲学本质和场景Balance案例（一）企业级分
分类：
其他好文 时间：
2020-06-19 10:37:43
阅读次数：
64
golang快速接入rocketmq 实现消息队列业务，让我们更新关注业务本身，各种客户端/sdk接入交给既有封装即可； ...
分类：
其他好文 时间：
2020-06-18 19:34:21
阅读次数：
362
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
概述 大多应用中, 可以通过消息服务中间件来提升系统异步通信, 扩展解耦能力. 消息服务中的两个重要概念 消息代理(message broker)和目的地(destination) 当消息发送者发送消息时, 由消息代理接管, 消息代理保证消息传递到指定目的地. 消息队列主要有两种形式的目的地 队列( ...
分类：
编程语言 时间：
2020-06-16 16:56:50
阅读次数：
63
