一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2021-02-02 11:24:43
阅读次数：
0
在之前的项目中分布式锁和限流是基于redis进行的，分布式锁基于setnx和expire命令实现，也可以基于lua脚本实现。限流是采用固定时间窗算法进行的。 最近了解到redisson这个工具类，而且基于其分布式锁的实现是比较常见的，简单研究下其使用。 官网：wiki地址 https://githu ...
分类：
其他好文 时间：
2021-02-02 11:13:05
阅读次数：
0
SpringBoot2.0+JTA+Atomikos 解决多数据源分布式事务问题 ...
分类：
编程语言 时间：
2021-02-02 11:06:27
阅读次数：
0
承接上篇：上篇文章讲到改造 go-zero 生成的 app module 中的 gateway & RPC 。本篇讲讲如何接入 异步任务 以及 log的使用。 Delay Job 日常任务开放中，我们会有很多异步、批量、定时、延迟任务要处理，go-zero中有 go-queue，推荐使用 go-qu ...
分类：
其他好文 时间：
2021-02-02 10:46:15
阅读次数：
0
1. 前言 Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管； 2. Git基本原理 2.1 哈希 哈希是一系列的加密算法，特点如下： 1. 不管输入数据量多大，输入到同一个哈希算法，得到的密文长度一定 2. 哈希算法确定，输入的数据确定，那么输出的密文保持不变 ...
分类：
其他好文 时间：
2021-02-01 13:00:21
阅读次数：
0
两阶段提交 two-phase commit (2PC) 三阶段提交 three-phase commit (3PC) Paxos 算法 ZAB 算法 2PC 两阶段提交，强一致性算法。常用在分布式数据库中，如分布式事务（tcc）。 undo 记录原始数据的样子，事务失败了恢复，成功了记入 redo ...
分类：
其他好文 时间：
2021-02-01 12:36:44
阅读次数：
0
分布式系统为了保证系统稳定性，在服务治理的限流中会根据不同场景进行限流操作，常见的限流算法有： 令牌桶：可容忍一定突发流量的速率的限流，令牌桶算法的原理是系统以恒定的速率产生令牌，然后把令牌放到令牌桶中，令牌桶有一个容量，当令牌桶满了的时候，再向其中放令牌，那么多余的令牌会被丢弃；当想要处理一个请求 ...
分类：
其他好文 时间：
2021-02-01 12:26:19
阅读次数：
0
《鸿蒙操作系统分布式软总线技术》 调研报告 朱浩 SA20225646 目 录 1 HarmonyOS概述 3 1.1 系统定义 3 1.2 系统架构 3 1.3 分布式技术特性 3 2 分布式软总线模块解析 4 2.1分布式软总线的功能 4 2.2分布式软总线的原理 4 2.3分布式软总线源码分析 ...
分类：
其他好文 时间：
2021-02-01 12:24:10
阅读次数：
0
Fisco bcos 区块链-分布式部署 前置条件：mysql配置成功。 节点搭建 cat > ipconf << EOF 127.0.0.1:1 agencyA 1 127.0.0.1:1 agencyB 1,2 127.0.0.1:1 agencyC 2 EOF bash build_chain ...
分类：
其他好文 时间：
2021-02-01 11:38:11
阅读次数：
0
什么是限流器？ 限流器是一种限制某种操作在一定时间内的执行次数（例如每秒钟5次）或者执行量（例如每秒钟1G大小的数据）的机制。 限流器是一种防御性的编程实现方式，在大数据量高并发访问时，经常会出现服务或接口面对暴涨的请求而不可用的情况，甚至引发连锁反映导致整个系统崩溃。此时你需要使用的技术手段之一就 ...
分类：
其他好文 时间：
2021-01-30 12:19:16
阅读次数：
0
