一、简单分布式爬虫架构 本次分布式爬虫采用主从模式，主从模式是指一台主机作为控制节点，负责管理所有运行网络爬虫的主机，爬虫只需要从控制节点那里接收任务，并把新生成任务提交给控制节点就可以了，在这个过程中不必与其他爬虫通信，这种方式实现简单、利于管理。而控制节点则需要与所有爬虫进行通信，因此可以看到主 ...
分类：
Web程序 时间：
2018-12-21 12:52:28
阅读次数：
332
MongoDB有主从复制和副本集两种主从复制模式，主从复制最大的问题就是无法自动故障转移，MongoDB副本集解决了主从模式无法自动故障转义的特点，因此是复制的首选。对于简单的主从复制无法自动故障转移的缺陷，各个数据库都在改进，MySQL推出的MGR，Redis的哨兵，Mongodb的复制集。对于主从复制模式：mongodb的主从配置异常简单，如果是非安全认证模式，只需要在主节点增加master=
分类：
数据库 时间：
2018-12-03 20:06:38
阅读次数：
233
1. 绪言 在现实应用环境中，出于数据容量、容灾、性能等因素的考虑，往往不会只使用一台服务器，而是使用集群的方式。Redis 中也有类似的维持一主多从的方式提高 Redis 集群的高可用性的方案，而其中不可避免的则是如何保证主从实例间的数据一致性，复制（Replication）是其解决办法。本篇介绍 ...
分类：
其他好文 时间：
2018-12-01 15:10:59
阅读次数：
158
Redis 在生产配置中；除redis集群、哨兵模式之外；主从模式还是比较普遍的。 配置 redis 多主从；由 keepalived 做 VIP 地址漂移。可以实现redis的高可用性。 keepalived 配置示例；（master 主节点配置，backup根据更改就可以了。） ! Config ...
分类：
其他好文 时间：
2018-11-23 20:30:47
阅读次数：
181
1.单点故障问题什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。主节点负责分发任务，从节点负责处理任务，当我们的主节点发生故障时，那么整个系统就都瘫痪了，那么我们把这种故障叫作单点故障。传统方式是采用一个备用节点，这个备用节点定期给当前主节点发送ping包，主节点收到ping包以后向备用节点发送回复Ack，当备用节点收到回复的时候就会认为当前主节点还活着，
分类：
其他好文 时间：
2018-10-28 20:50:03
阅读次数：
169
MongoDB 和 Redis 都是 NoSQL，采用结构型数据存储。二者在使用场景中，存在一定的区别， 这也主要由于二者在内存映射的处理过程，持久化的处理方法不同。MongoDB 建议集群部署，更多的考虑到集群方案，Redis 更偏重于进程顺序写入，虽然支持集群，也仅限于主-从模式。 Redis ...
分类：
数据库 时间：
2018-10-27 00:06:16
阅读次数：
266
1）Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 2）Redis支持master-slave(主-从)模式应用 3）Redis支持数据持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 4）Redis单个value ...
分类：
其他好文 时间：
2018-10-24 15:21:33
阅读次数：
128
在互联网的大趋势下，用户体验、服务的可用性日趋重要。任何一个服务的不可用，都可能导致连锁式功能故障。 前言 高可用模型的已经逐渐形成一种套路： 主备/主从模式 集群模式 主备/主从模式 至少有两台服务节点master和backup/slave。同一时刻只有一台服务节点对外提供服务——master，b ...
分类：
其他好文 时间：
2018-10-22 13:07:50
阅读次数：
156
PV(page view，页面浏览量)即点击量，通常是衡量一个网站受欢迎程度的主要指标。
本案例采用四层模式实现，主要分为前端反向代理层、web层、数据库缓存层和数据库层。前端反向代理层采用主备模式，web层采用集群模式，数据库缓存层采用主备模式，数据库层采用主从模式。每一层都做到了高可用架构，大大提高了业务的稳定性。
分类：
Web程序 时间：
2018-10-16 10:55:29
阅读次数：
251
MongoDB 和 Redis 都是 NoSQL，采用结构型数据存储。二者在使用场景中，存在一定的区别， 这也主要由于二者在内存映射的处理过程，持久化的处理方法不同。MongoDB 建议集群部署，更多 的考虑到集群方案，Redis 更偏重于进程顺序写入，虽然支持集群，也仅限于主-从模式。 Redis ...
分类：
数据库 时间：
2018-10-06 15:33:49
阅读次数：
225
