虽然redis实现了发布订阅(publish/subscribe)的功能,但是在通常的情况下是不推荐使用的,如果想使用消息队列这种功能,最好还是使用专业的各种MQ中间件,例如rabbitMQ,rockedMQ,activitedMQ等,本文主要讲一下不推荐使用redis的发布订阅功能的原因。 概要说 ...
分类:
其他好文 时间:
2020-09-17 10:48:25
阅读次数:
55
用户行为日志分析是实时数据处理很常见的一个应用场景,比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统,包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路,通过本文,你可以了解到:基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类:
其他好文 时间:
2020-09-11 16:03:01
阅读次数:
41
/etc/rsyslog.conf $ModLoad imfile 加在imfile模块 $InputFileName filePath 监测日志路径 $InputFilePollInterval 10 轮询时间 $InputFileTag 标签 监测日志的标签 $InputFileStateFil ...
分类:
其他好文 时间:
2020-09-02 16:46:12
阅读次数:
64
昨天在开发的过程中,自己设计的mysql的一个表是自增主键,但是在插入数据的过程中,发现主键冲突。具体如下:我们是通过kafka作为消息队列,三个consumer,每个cosumer进行一些逻辑运算以后进行插入操作,插入到表t_a表中,mybatis使用的下面配置useGeneratedKeys="true"keyProperty="id"servcie逻辑如下,我们一次获取到多条插入数据库对象的
分类:
其他好文 时间:
2020-08-20 18:30:12
阅读次数:
66
1.模式说明 应用场景:对于 任务过重或任务较多情况使用工作队列可以提高任务处理的速度 只有3个角色:P:生产者,也就是要发送消息的程序C:消费者:消息的接受者,会一直等待消息到来。queue:消息队列,图中红色部分 2.应用举例 Producer: 1 /** 2 * 发送消息 3 */ 4 pu ...
分类:
其他好文 时间:
2020-08-18 13:51:39
阅读次数:
63
1.flume简介 Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类:
Web程序 时间:
2020-08-13 22:07:34
阅读次数:
83
yuanwenlianjie:https://www.cnblogs.com/wt645631686/p/13473186.html 什么是消息延迟? 消息队列在消费过程中大量堆积就是消息延迟,也就是消费的频率跟不上生产。比方说,生产者向队列中一共生产了1000条消息,某一个消费者消费进度是900条 ...
分类:
其他好文 时间:
2020-08-12 15:57:39
阅读次数:
57
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等之前曾写过高并发系统设计的三个通用方法:缓存、异步和横向扩展,到目前为止,你接触到了缓存的使用姿势,也了解了,如何使用消息队列异步处理业务逻辑,那么本文将带你了解一下,如何提升系统的横向扩展能力。在之前的文章中就曾提到过提升系统横向扩展能力的一些案例。比如,可以通过部署多个从库的方式,来提升数据库的扩展能力,从而提升数据库的查
分类:
其他好文 时间:
2020-08-05 13:14:29
阅读次数:
65
RabbitMQ是什么? MQ(Message Queue,消息队列)消息中间件,一般以集群方式部署,主要提供消息的接受和发送,实现各微服务之间的消息同步。 原理介绍 rabbitmq是依据erlang的分布式特性(RabbitMQ底层是通过Erlang架构来实现的,所以rabbitmqctl会启动 ...
分类:
其他好文 时间:
2020-08-04 16:52:47
阅读次数:
96