使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Red
分类：
其他好文 时间：
2020-12-09 11:53:29
阅读次数：
6
redis cluster在运行时，每个redis实例上都会保存slot和实例的对应关系，为了让集群中的每个实例都知道其他所有实例的状态信息，实例之间会按照 一定的规则进行通信，这个规则就是gossip协议。 Gossip 协议的工作原理：一是，每个实例之间会按照一定的频率，从集群中随机挑选一些实例 ...
分类：
其他好文 时间：
2020-12-09 11:49:48
阅读次数：
3
preference查询选择副本分片的倾向性(即在一个复制组中选择副本的分片值。默认情况下，es以未指定的顺序从可用的碎片副本中进行选择，副本之间的路由将在集群章节更加详细的介绍。可以通过该字段指定分片倾向与选择哪个副本。preference可选值：_primary只在节点上执行，在6.1.0版本后废弃，将在7.x版本移除。_primary_first优先在主节点上执行。在6.1.0版本后废弃，将
大家好，非常抱歉，在昨天下午（12月3日）的访问高峰，园子迎来更高的并发，在这样的高并发下，突发的数据库连接故障造成博客站点全线崩溃，由此给您带来很大的麻烦，请您谅解。最近，我们一边在忙于AWS合作项目，一边在加快产品的改进速度，一边在统一全园UI，一边在忙于解决高并发下出现的各种问题。园子正处于发... ...
分类：
Web程序 时间：
2020-12-08 12:40:18
阅读次数：
10
redis5.0安装部署参考一键安装脚本1.目前在生产环境已经有的集群环境为3个master、3个slave，现在添加2个节点，形成5个master和5个slave将安装好的新redis节点添加到集群，安装好的节点规划如下：172.16.153.32:7002和172.16.153.32:7003前面的是master后面的是slave172.16.153.33:7004和172.16.153.33
分类：
其他好文 时间：
2020-12-08 12:22:25
阅读次数：
4
1、环境规划3台机，每台机5个实例，分别mongos1个，configserver1个，shardserver3个IP:192.168.56.107(mongodb01)实例:mongos:30000shard1:40001(主节点)shard2:40002(仲裁节点)shard3:40003(副节点)config:27027IP:192.168.56.105(mongodb02)实例:mongo
分类：
数据库 时间：
2020-12-08 12:21:00
阅读次数：
8
建表建分区 CREATE TABLE `db`.`table_new` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id', `time` datetime NOT NULL COMMENT '时间', `clusterid` varchar( ...
分类：
其他好文 时间：
2020-12-08 12:15:11
阅读次数：
3
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
1、背景公司一个RocketMQ集群由4主4从组成，突然其中3台服务器“竟然”在同一时间下线，其监控显示如下：依次查看三台机器的监控图形，时间戳几乎完美“吻合”，不可思议吧。2、故障分析出现问题，先二话不说，马上重启各服务器，尽快恢复集群，降低对业务的影响，接下来开始对日志进行分析。Java进程自动退出(rocketmq本身就是一个java进程)，一种最常见的问题是由于内存溢出或由于内存泄漏导致进
分类：
系统相关 时间：
2020-12-07 12:49:05
阅读次数：
15
消息组接到某项目组反馈，topic在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下：例如业务主体名topic_dw_test_by_order_01的路由信息如图所示：当前的消费者信息：broker的配置信息如下：brokerClusterName=DefaultCl
分类：
其他好文 时间：
2020-12-07 12:44:57
阅读次数：
13
