前言 RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,而群集和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。 RabbitMQ是一套开源(MPL)的消息队列服务软 ...
分类:
系统相关 时间:
2020-01-31 14:08:56
阅读次数:
437
进程间通信原因因为每一个进程都是拥有一个独立的虚拟地址空间的,促使进程独立,导致了进程之间需要协作。进程间通信分为数据传输-----管道,消息队列数据共享-----共享内存进程控制-----信号量首先先谈谈管道和共享内存管道---匿名管道,命名管道本质:管道其实就是一块内存,是内核当中的缓冲区匿名管道---没有标识特性:具有亲缘关系的进程间通信半双工,数据只能有一个流向提供字节流服务自带同步与互斥
分类:
系统相关 时间:
2020-01-30 12:54:12
阅读次数:
109
zookeeper是作为一个数据管道存储kafka消息队列,上一篇已经解决怎样部署一个zookeeper集群,基于zookeeper集群基础上,本篇介绍怎样部署kafka集群。 mv kafka_2.13-2.4.0.tgz /usr/local tar -zxvf kafka_2.11-2.4.0 ...
分类:
其他好文 时间:
2020-01-30 11:20:41
阅读次数:
140
一、消息重复现象 在 MQTT 协议中,给出了三种传递消息时能够提供的服务质量标准: At most once:最多一次,这种情况会丢失部分数据,一般日志收集这种对数据不严格的可以使用 At least once:最少一次,这种会导致一条消息重复发送 Exactly once:正好一次,一条消息只会 ...
分类:
其他好文 时间:
2020-01-30 09:14:17
阅读次数:
500
ETCD 日志收集项目 为什么要自己写不用ELK? ELK: 部署的时候麻烦每一个filebeat都需要配置一个配置文件 使用etcd来管理被收集的日志项。 项目的架构 上节课项目进度 1. kafka:消息队列 2. tailf:从文件里读日志 3. go ini:解析配置文件 今日内容 etcd ...
分类:
其他好文 时间:
2020-01-29 10:58:36
阅读次数:
193
进程间通信: 1、进程间的数据共享: 管道、 消息队列、 共享内存、 Unix域套接字 易用性: 消息队列 > Unix域套接字 > 管道 > 共享内存(经常与信号量一起用) 效 率: 共享内存 > Unix域套接字 > 管道 > 消息队列 常 用: 共享内存、Unix域套接字 2、异步通信 信号 ...
分类:
系统相关 时间:
2020-01-29 10:55:58
阅读次数:
87
一、kafka的基础架构 kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 kafka的具体架构如图: 学习kafka的架构前,我们需要了解图中的每个角色: (1)consumer group 消费者组:这是kafka消息队列特有的角色,它是一堆消费组组合成的。消 ...
分类:
其他好文 时间:
2020-01-28 20:47:17
阅读次数:
139
本文将简述Windows Terminal的安装,详细的自定义配置,以及常用的连接云服务器和WSL方法。 ...
分类:
Windows程序 时间:
2020-01-28 19:33:15
阅读次数:
1850
消息消费以组的的模式开展; 一个消费组内可以包含多个消费者,每一个消费组可订阅多个主题; 消费组之间有集群模式与广播模式两种消费模式:集群模式-主题下的同一条消息只允许被其中一个消费者消费。广播模式-主题下的同一条消息将被集群内的所有消费者消费一次。集群模式下消息队列负载机制遵循一个通用的思想:一个 ...
分类:
其他好文 时间:
2020-01-28 19:05:48
阅读次数:
88
Namespace是将内核的全局资源做封装,使得每个Namespace都有一份独立的资源,因此不同的进程在各自的Namespace内对同一种资源的使用不会互相干扰。 目前Linux内核总共支持以下6种Namespace: IPC:隔离System V IPC和POSIX消息队列。 Network:隔 ...
分类:
系统相关 时间:
2020-01-28 11:03:58
阅读次数:
88