如何实现分布式？ 安装一个scrapy-redis的组件 原生的scrapy是不可以实现分布式爬虫，必须要让scrapy结合着scrapy-redis组件一起实现分布式 为什么原生的scrapy不可以实现分布式？ 调度器不可以被分布式集群共享 管道不可以被分布式集群共享 scrapy-redis组件 ...
分类：
其他好文 时间：
2020-07-05 17:03:11
阅读次数：
62
其实不管redis还好，Mysql也好 这种数据存储介质，在分布式场景中都存在共同问题:即集群场景下服务路由。比如redis集群场景下，原本我们分3主3从部署。但万一有一天出现访问量暴增或其中一台机器挂了的场景，那么服务路由(一般采用HASH取模定位的方式)重新计算后 会面临数据在新的节点找不到，... ...
分类：
编程语言 时间：
2020-07-05 15:47:15
阅读次数：
68
半同步指的是在主节点发生写操作事件后，它会把该操作的事件发送给从节点，当从节点接收到主节点发送过来的事件后，就立刻告诉主节点，从节点已经接收到主节点发送过来的事件，此时主机点并不会等到从节点重放完成，而是接收到从节点接收到主节点发送过去的的事件确认消息后，就返回给客户端；而在mariadb/mys... ...
分类：
数据库 时间：
2020-07-05 15:21:20
阅读次数：
66
打开zookeeper集群之后，zk正常，但是kafka启动之后总是会挂掉，查找logs日志里的server.log文件发现问题： 问题：A broker is already registered on the path /brokers/ids/0. This probably indicate ...
分类：
其他好文 时间：
2020-07-05 15:07:11
阅读次数：
103
面试官心理分析 面试官问了你一堆 dubbo 是怎么玩儿的，你会玩儿 dubbo 就可以把单块系统弄成分布式系统，然后分布式之后接踵而来的就是一堆问题，最大的问题就是分布式事务、接口幂等性、分布式锁，还有最后一个就是分布式 session。 当然了，分布式系统中的问题何止这么一点，非常之多，复杂度很 ...
分类：
其他好文 时间：
2020-07-05 13:18:21
阅读次数：
69
kubernetes里的master指得是集群控制节点，在每个kubernetes集群里都需要一个master来负责整个集群得管理和控制，基本上kubernetes得所有控制命令都发给它，它负责具体得执行过程，如果它宕机，或者不可用，那么对集群内容器应用的管理都将失效。 在master上运行以下关键 ...
分类：
其他好文 时间：
2020-07-05 10:55:30
阅读次数：
69
Haproxy与Keepalived VRRP 介绍 软件：haproxy 主要是做负载均衡的7层，也可以做4层负载均衡 apache也可以做7层负载均衡，但是很麻烦。实际工作中没有人用。负载均衡是通过OSI协议对应的 7层负载均衡：用的7层http协议， 4层负载均衡：用的是tcp协议加端口号做的 ...
分类：
其他好文 时间：
2020-07-05 10:43:23
阅读次数：
46
NFS存储 NFS即网络文件系统Network File System，它是一种分布式文件系统协议，最初是由Sun MicroSystems公司开发的类Unix操作系统之上的一款经典网络存储方案，其功能是在允许客户端主机可以像访问本地存储一样通过网络访问服务端文件。 Kubernetes的NFS存储 ...
分类：
Web程序 时间：
2020-07-05 10:42:17
阅读次数：
65
简介主从复制（也称AB复制）是将来自一个MySQL数据库服务器（主服务器）中的数据复制到一个或多个MySQL数据库服务器（从服务器）中GTID从MySQL5.6.5开始新增了一种基于GTID的主从复制方式，GTID(GlobalTransactionID)是全局事务ID，通过GTID可以保证每一个在主库中提交的事务在整个数据库集群中有一个唯一的ID，因此当在主库上提交事务或者被从库应用时，可以通过
分类：
数据库 时间：
2020-07-05 10:36:56
阅读次数：
83
目录 目录摘要scp拷贝scp定义scp基本语法案例rsync远程同步工具定义基本语法案例集群分发脚本参考文献toc 摘要 搭建集群时往往多台服务器具有相同的配置，为避免重复工作，希望通过脚本同步配置 scp拷贝 scp定义 scp可以实现服务器与服务器之间的数据拷贝。（from server1 t... ...
分类：
其他好文 时间：
2020-07-05 00:54:41
阅读次数：
89
