Celery 1.什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 Celery架构 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（ta ...
分类：
其他好文 时间：
2020-11-10 11:18:05
阅读次数：
9
1. 核心注解 在springboot项目中我们可以很方便地使用spring自己的注解@Scheduled和@EnableScheduling配合来实现便捷开发定时任务。 @EnableScheduling注解的作用是发现注解@Scheduled的任务并后台执行，此注解可以加到启动类上也可以加到执行 ...
分类：
编程语言 时间：
2020-11-10 10:36:10
阅读次数：
11
（一）RDD、DataFream、DataSet 理解 1. RDD理解 (1) RDD定义为弹性分布式数据集合。 MR运算之间数据共享差： MR的计算之间的数据共享只能通过将数据写入外部存储系统。后一步计算需要从外部存储系统中加载进来的方式进行。 Spark 思路相反，设计了一种抽象-RDD（弹性 ...
分类：
其他好文 时间：
2020-11-10 10:31:29
阅读次数：
3
幂等概述 幂等性原本是数学上的概念，即使公式：f(x)=f(f(x)) 能够成立的数学性质。用在编程领域，则意为对同一个系统，使用同样的条件，一次请求和重复的多次请求对系统资源的影响是一致的。 幂等性是分布式系统设计中十分重要的概念，具有这一性质的接口在设计时总是秉持这样的一种理念：调用接口发生异常 ...
分类：
编程语言 时间：
2020-11-10 10:26:43
阅读次数：
14
转自：https://www.xttblog.com/?p=2925 CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼。 分布式系统（distributed ...
分类：
其他好文 时间：
2020-11-08 17:38:57
阅读次数：
35
同程旅游缓存系统设计:如何打造Redis时代的完美体系(含PPT)导读：高可用架构7月30日在上海举办了『互联网架构的基石』专题沙龙，进行了闭门私董会研讨及对外开放的四个专题的演讲，期望能促进业界对互联网基础服务及工具的讨论，本文是王晓波分享同程旅游缓存系统架构经验。王晓波，同程旅游首席架构师，专注于高并发互联网架构设计、分布式电子商务交易平台设计、大数据分析平台设计、高可用性系统设计，基础云相关
分类：
其他好文 时间：
2020-11-08 17:36:43
阅读次数：
18
设计消息中间件时我关心什么?(解密电商数据一致性与完整性实现,含PPT)导读：应对高可用及极端峰值，每个技术团队都有自己的优秀经验，但是这些方法远没有得到体系化的讨论。高可用架构在6月25日举办了『高压下的架构演进』专题活动，进行了闭门私董会研讨及对外开放的四个专题的演讲，期望能促进业界对应对峰值的方法及工具的讨论，本文是去哪儿网余昭辉介绍设计电商消息中间件的设计经验。余昭辉，去哪儿网基础架构部架
分类：
其他好文 时间：
2020-11-08 17:34:08
阅读次数：
24
2PC，是分布式事务的一种常见实践。分布式事务为什么难？在分布式环境下，每个节点都可以知晓自己操作的成功或者失败，却无法知道其他节点操作的成功或失败。当一个分布式事务跨多个节点时，保持事务的原子性与一致性，是非常困难的。什么是两阶段提交？二阶段提交2PC（TwophaseCommit）是一种，在分布式环境下，所有节点进行事务提交，保持一致性的算法。它通过引入一个协调者（Coordinator）来统
分类：
其他好文 时间：
2020-11-08 17:29:38
阅读次数：
18
什么是SpringCloud SpringCloud是基于SpringBoot的一整套实现微服务的框架。它提供了微服务开发所需的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等组件。 最重要的是，基于SpringBoot，会让开发微服务架构非常方便 ...
分类：
编程语言 时间：
2020-11-08 17:19:34
阅读次数：
27
Flume概述官方文档：https://flume.apache.org/documentation.htmlFlume是一种分布式、高可靠和高可用的日志数据采集服务，可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性，具有可调整的可靠性机制和许多故障切换和恢复机制。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume架构及核心组件F
分类：
Web程序 时间：
2020-11-08 16:36:50
阅读次数：
26
