使用日志服务的Web-tracking、logtail(文件极简)、syslog等收集上来的日志经常存在各种各样的格式,我们需要针对特定的日志(例如topic)进行一定的分发到特定的logtail中处理和索引,本文主要介绍如何使用消费组实时分发日志到不通的目标日志库中,并保证可扩展性与高可用性。
分类:
编程语言 时间:
2019-01-21 11:20:32
阅读次数:
223
本节详细讲解使用Hystrix的通用方式。简介Hystrix是由Netflix开源的一个延迟和容错库,用于隔离访问远程系统、服务或者第三方库,防止级联失败,从而提升系统的可用性与容错性。Hystrix主要通过以下几点实现延迟和容错。包裹请求使用HystrixCommand(或HystrixObservableCommand)包裹对依赖的调用逻辑,每个命令在独立线程中执行。这使用到了设计模式中的“命
分类:
编程语言 时间:
2019-01-21 11:17:35
阅读次数:
178
MQ全称为Message Queue, 是一种分布式应用程序的的通信方法,它是消费-生产者模型的一个典型的代表,producer往消息队列中不断写入消息,而另一端consumer则可以读取或者订阅队列中的消息。RabbitMQ是MQ产品的典型代表,是一款基于AMQP协议可复用的企业消息系统。业务上, ...
分类:
其他好文 时间:
2019-01-20 22:54:22
阅读次数:
236
<!-- flowchart 箭头图标 勿删 --> 现代的企业面临着一个VUCA的时代,高可用系统架构面对着诸多不确定性带来的影响和挑战,如何才能能够突破困境,使得复杂的系统仍然能保持业务的连续性。业务的弹性扩容也同时会对高可用性的架构造成影响,在实践中,我们结合微服务/K8S/DevOps这三架 ...
分类:
其他好文 时间:
2019-01-20 13:46:44
阅读次数:
251
随着互联网技术的发展,大型网站需要的计算能力和存储能力越来越高。网站架构逐渐从集中式转变成分布式。 虽然分布式和集中式系统相比有很多优势,比如能提供更强的计算、存储能力,避免单点故障等问题。但是由于采用分布式部署的方式,就经常会出现网络故障等问题,并且如何在分布式系统中保证数据的一致性和可用性也是一 ...
分类:
其他好文 时间:
2019-01-19 16:21:37
阅读次数:
222
一、为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? (1)高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步 ...
分类:
其他好文 时间:
2019-01-19 13:16:53
阅读次数:
184
转自:https://www.jianshu.com/p/ce30c31111ca 背景 随着互联网时代数据规模的爆发式增长,传统的单机系统在性能和可用性上已经无法胜任,分布式应用和服务化应用开始走进大家的视野,但是分布式的部署也会带来另外的问题,日志分散在各个应用服务节点中,出现问题不方便及时排查 ...
分类:
其他好文 时间:
2019-01-18 17:23:02
阅读次数:
321
至此,我们已实现服务发现、负载均衡,同时,使用Feign也实现了良好的远程调用——我们的代码是可读、可维护的。理论上,我们现在已经能构建一个不错的分布式应用了,但微服务之间是通过网络通信的,网络可能出问题;微服务本身也不可能100%可用。如何提升应用的可用性呢?这是我们必须考虑的问题——举个例子:某大型系统中,服务A调用服务B,某个时刻,微服务B突然崩溃了。微服务A中,依然有大量请求在请求B,如果
分类:
编程语言 时间:
2019-01-18 12:15:56
阅读次数:
217
原文:可扩展、高可用、负载均衡网站架构设计方案 可扩展、高可用、负载均衡网站架构设计方案 作者:田逸(sery@163.com) 本作品已刊登在《IT实验室周报》第6期第6版 基本需求: 1、 高可用性:将停止服务时间降低到最低甚至是不间断服务 2、 可扩展性:随着访问的增加,系统具备良好的伸缩能力... ...
分类:
Web程序 时间:
2019-01-18 00:55:07
阅读次数:
228
在 Laravel 5.6 中,还引入了频率限制功能。所谓频率限制,指的是在指定时间单个用户对某个路由的访问次数限制,该功能有两个使用场景,一个是在某些需要验证/认证的页面限制用户失败尝试次数,提高系统的安全性,另一个是避免非正常用户(比如爬虫)对路由的过度频繁访问,从而提高系统的可用性,此外,在流 ...
分类:
其他好文 时间:
2019-01-17 19:55:41
阅读次数:
220