Logstash简介 Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任 ...
分类：
其他好文 时间：
2020-06-30 00:51:56
阅读次数：
90
一、消息队列 RabbitMQ是目前非常热门的一款消息中间件，不管是互联网大厂还是中小企业都在大量使用。 1.1 什么是消息队列 MQ全称为Message Queue，即消息队列。“消息队列”是在消息的传输过程中保存消息的容器。它是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不 ...
分类：
编程语言 时间：
2020-06-29 11:54:48
阅读次数：
71
概念： 1>基于 C/S 架构的服务器基础架构集中化管理平台，通过管理端下发指令，客户端接受指令的方式进行操作，管理端称为 Master，客户端称为 Minion。2>具备配置管理、远程执行、监控等功能3>基于 Python 语言开发实现，结合了轻量级的消息队列软件 ZeroMQ【master和sl ...
分类：
其他好文 时间：
2020-06-29 09:38:41
阅读次数：
73
一、概述 1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 2.能够有效的收集、聚合、传输大量的日志数据 3.flume有2个版本：flume-og(flume09x)和flume-ng(flume1.x)，flume-og和flume-ng不兼容 二、基本概念 1.Event ...
分类：
Web程序 时间：
2020-06-28 15:19:31
阅读次数：
62
削去秒杀场景下的峰值写流量 而在秒杀场景下，高并发的写请求并不是持续的，也不是经常发生的，而只有在秒杀活动开始后的几秒或者十几秒时间内才会存在。为了应对这十几秒的瞬间写高峰，将秒杀请求暂存在消息队列中，然后业务服务器会响应用户“秒杀结果正在计算中”，释放了系统资源之后再处理其它用户的请求。 在后台启 ...
分类：
其他好文 时间：
2020-06-27 19:50:29
阅读次数：
118
crontab在/var/log/目录下没有cron.log文件 修改rsyslog文件： /etc/rsyslog.d/50-default.conf 将 rsyslog 文件中的 #cron.* 前的 # 删掉； 重启rsyslog服务： service rsyslog restart 重启cr ...
分类：
系统相关 时间：
2020-06-26 20:11:56
阅读次数：
59
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
##一、引入kafka pom三方配置 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</version> </dependency> ##二 ...
分类：
其他好文 时间：
2020-06-26 13:04:18
阅读次数：
54
kafka是什么Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的，发布/订阅模式的消息队列（Message Queue），Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展，Kafka已经由最初的日志 ...
分类：
其他好文 时间：
2020-06-25 10:16:04
阅读次数：
74
消息队列 为什么用? 解耦，削峰，异步 基本模型 生产者 -> MQ -> 消费者 Kafka 十万级/s 适用于大数据领域实时计算，日志采集, ActiveMQ 万/s , RabbitMQ 万/s , RocketMQ 十万/s 造成问题及解决 1.系统可用性降低 (MQ发生故障，全崩了) 2. ...
分类：
其他好文 时间：
2020-06-24 19:24:18
阅读次数：
68
