数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
ansible 和saltstack对比 SaltStack 底层有一个消息队列：Zero-MQ（message queue） # 1.ansible是基于ssh协议来工作的，但是saltstack也有支持ssh协议的模式 # 2.但是一般来说，选择saltstack就是为了使用客户端和服务端的方式 ...
分类：
其他好文 时间：
2020-06-21 00:30:27
阅读次数：
50
前言 这是消息队列系列的开篇，简单介绍一些概念。 正文 我觉得使用消息队列主要有两点好处：1.通过异步处理提高系统性能（削峰、减少响应所需时间）;2.降低系统耦合性。 如上图，在不使用消息队列服务器的时候，用户的请求数据直接写入数据库，在高并发的情况下数据库压力剧增，使得响应速度变慢。 但是在使用消 ...
分类：
其他好文 时间：
2020-06-20 23:51:55
阅读次数：
60
第一阶段：基础架构设计与实践之道篇第一单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(上)第二单元通过架构演进掌握架构设计核心思维模式智能互联网之总体架构设计(下)第三单元掌握高可用架构设计基本原则智能互联网之核心技术实践篇（上）第四单元掌握核心技术之分布式资源哲学本质和思维智能互联网之核心技术实践篇（中）第五单元掌握网关/分布式锁的哲学本质和场景Balance案例（一）企业级分
分类：
其他好文 时间：
2020-06-19 10:37:43
阅读次数：
64
启动报错如下 ./rabbitmq-server: line 47: erl: command not found 解决方案1 :在rabbitmq-server 中添加erlang的环境变量 # Lazy initialization of threed pool size - if it was ...
分类：
其他好文 时间：
2020-06-18 21:23:53
阅读次数：
78
golang快速接入rocketmq 实现消息队列业务，让我们更新关注业务本身，各种客户端/sdk接入交给既有封装即可； ...
分类：
其他好文 时间：
2020-06-18 19:34:21
阅读次数：
362
rabbitmq是运行在erlang环境下的，所以卸载时应将erlang卸载。 1、卸载rabbitmq相关 卸载前先停掉rabbitmq服务，执行命令 $ service rabbitmq-server stop 查看rabbitmq安装的相关列表 $ yum list | grep rabbit ...
分类：
系统相关 时间：
2020-06-18 19:05:35
阅读次数：
345
概述 大多应用中, 可以通过消息服务中间件来提升系统异步通信, 扩展解耦能力. 消息服务中的两个重要概念 消息代理(message broker)和目的地(destination) 当消息发送者发送消息时, 由消息代理接管, 消息代理保证消息传递到指定目的地. 消息队列主要有两种形式的目的地 队列( ...
分类：
编程语言 时间：
2020-06-16 16:56:50
阅读次数：
63
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等异步与同步模型最大的区别是，同步模型会阻塞线程等待资源，而异步模型不会阻塞线程，它是等资源准备好后，再通知业务代码来完成后续的资源处理逻辑。这种异步设计的方法，可以很好地解决IO等待的问题。我们开发的绝大多数业务系统，它都是IO密集型系统。跟IO密集型系统相对的另一种系统叫计算密集型系统。通过这两种系统的名字，估计你也能大概猜
分类：
其他好文 时间：
2020-06-16 01:10:08
阅读次数：
59
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等Kafka是一个高性能的消息队列，在众多消息队列产品中，Kafka的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对Kafka做过极限的性能压测，Kafka单个节点的极限处理能力接近每秒钟2000万条消息，吞吐量达到每秒钟600MB。你可能会问，Kafka是如何做到这么高的性能的？之前就曾探讨过：怎么开发一个高性
分类：
其他好文 时间：
2020-06-16 01:08:56
阅读次数：
159
