一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2021-02-02 11:24:43
阅读次数：
0
在之前的项目中分布式锁和限流是基于redis进行的，分布式锁基于setnx和expire命令实现，也可以基于lua脚本实现。限流是采用固定时间窗算法进行的。 最近了解到redisson这个工具类，而且基于其分布式锁的实现是比较常见的，简单研究下其使用。 官网：wiki地址 https://githu ...
分类：
其他好文 时间：
2021-02-02 11:13:05
阅读次数：
0
SpringBoot2.0+JTA+Atomikos 解决多数据源分布式事务问题 ...
分类：
编程语言 时间：
2021-02-02 11:06:27
阅读次数：
0
承接上篇：上篇文章讲到改造 go-zero 生成的 app module 中的 gateway & RPC 。本篇讲讲如何接入 异步任务 以及 log的使用。 Delay Job 日常任务开放中，我们会有很多异步、批量、定时、延迟任务要处理，go-zero中有 go-queue，推荐使用 go-qu ...
分类：
其他好文 时间：
2021-02-02 10:46:15
阅读次数：
0
1. 前言 Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管； 2. Git基本原理 2.1 哈希 哈希是一系列的加密算法，特点如下： 1. 不管输入数据量多大，输入到同一个哈希算法，得到的密文长度一定 2. 哈希算法确定，输入的数据确定，那么输出的密文保持不变 ...
分类：
其他好文 时间：
2021-02-01 13:00:21
阅读次数：
0
一、torch.nn.Embedding 模块可以看做一个字典，字典中每个索引对应一个词和词的embedding形式。利用这个模块，可以给词做embedding的初始化操作 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=N ...
分类：
其他好文 时间：
2021-02-01 12:58:42
阅读次数：
0
两阶段提交 two-phase commit (2PC) 三阶段提交 three-phase commit (3PC) Paxos 算法 ZAB 算法 2PC 两阶段提交，强一致性算法。常用在分布式数据库中，如分布式事务（tcc）。 undo 记录原始数据的样子，事务失败了恢复，成功了记入 redo ...
分类：
其他好文 时间：
2021-02-01 12:36:44
阅读次数：
0
分布式系统为了保证系统稳定性，在服务治理的限流中会根据不同场景进行限流操作，常见的限流算法有： 令牌桶：可容忍一定突发流量的速率的限流，令牌桶算法的原理是系统以恒定的速率产生令牌，然后把令牌放到令牌桶中，令牌桶有一个容量，当令牌桶满了的时候，再向其中放令牌，那么多余的令牌会被丢弃；当想要处理一个请求 ...
分类：
其他好文 时间：
2021-02-01 12:26:19
阅读次数：
0
前面的博文 Nginx安装，开箱即用？讲了NG的安装，装完NG，为了拿到各种状态指标，就要对NG做监控。 Github 2.3k的开源项目nginx-module-vts没准真是你需求的。 链接数，qps，1xx、2xx,、3xx、4xx、5xx的响应数，响应耗时，响应时间分布，访问用户国家分布；甚 ...
分类：
其他好文 时间：
2021-02-01 12:25:45
阅读次数：
0
《鸿蒙操作系统分布式软总线技术》 调研报告 朱浩 SA20225646 目 录 1 HarmonyOS概述 3 1.1 系统定义 3 1.2 系统架构 3 1.3 分布式技术特性 3 2 分布式软总线模块解析 4 2.1分布式软总线的功能 4 2.2分布式软总线的原理 4 2.3分布式软总线源码分析 ...
分类：
其他好文 时间：
2021-02-01 12:24:10
阅读次数：
0
