直奔主题，只讲干货?解压缩三个elasticsearch包如果子目录data下有数据，删掉，不然会有坑：比如新增节点加入不到集群里?2.修改三个elasticsearch目录下的config文件elasticsearch.yml，添加三个字段cluster.name:es-clusternode.name:esnode-1cluster.initial_master_nodes
分类：
其他好文 时间：
2020-12-10 10:33:04
阅读次数：
1
一文带你掌握K8S [ Kubernetes ] K8S的简单概述 K8S是谷歌在2014年开源的容器集群化管理系统，听说谷歌内部已经使用10余年（然后还是别人的一个阉割版本，哈哈哈哈，这或许就是技术公司的实力吧） 我们使用K8S主要是进行容器化应用的部署，至于K8S有什么作用我们下文详细说明，反正 ...
分类：
Web程序 时间：
2020-12-09 12:15:31
阅读次数：
8
使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Red
分类：
其他好文 时间：
2020-12-09 11:53:29
阅读次数：
6
redis cluster在运行时，每个redis实例上都会保存slot和实例的对应关系，为了让集群中的每个实例都知道其他所有实例的状态信息，实例之间会按照 一定的规则进行通信，这个规则就是gossip协议。 Gossip 协议的工作原理：一是，每个实例之间会按照一定的频率，从集群中随机挑选一些实例 ...
分类：
其他好文 时间：
2020-12-09 11:49:48
阅读次数：
3
preference查询选择副本分片的倾向性(即在一个复制组中选择副本的分片值。默认情况下，es以未指定的顺序从可用的碎片副本中进行选择，副本之间的路由将在集群章节更加详细的介绍。可以通过该字段指定分片倾向与选择哪个副本。preference可选值：_primary只在节点上执行，在6.1.0版本后废弃，将在7.x版本移除。_primary_first优先在主节点上执行。在6.1.0版本后废弃，将
大家好，非常抱歉，在昨天下午（12月3日）的访问高峰，园子迎来更高的并发，在这样的高并发下，突发的数据库连接故障造成博客站点全线崩溃，由此给您带来很大的麻烦，请您谅解。最近，我们一边在忙于AWS合作项目，一边在加快产品的改进速度，一边在统一全园UI，一边在忙于解决高并发下出现的各种问题。园子正处于发... ...
分类：
Web程序 时间：
2020-12-08 12:40:18
阅读次数：
10
redis5.0安装部署参考一键安装脚本1.目前在生产环境已经有的集群环境为3个master、3个slave，现在添加2个节点，形成5个master和5个slave将安装好的新redis节点添加到集群，安装好的节点规划如下：172.16.153.32:7002和172.16.153.32:7003前面的是master后面的是slave172.16.153.33:7004和172.16.153.33
分类：
其他好文 时间：
2020-12-08 12:22:25
阅读次数：
4
1、环境规划3台机，每台机5个实例，分别mongos1个，configserver1个，shardserver3个IP:192.168.56.107(mongodb01)实例:mongos:30000shard1:40001(主节点)shard2:40002(仲裁节点)shard3:40003(副节点)config:27027IP:192.168.56.105(mongodb02)实例:mongo
分类：
数据库 时间：
2020-12-08 12:21:00
阅读次数：
8
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
1、背景公司一个RocketMQ集群由4主4从组成，突然其中3台服务器“竟然”在同一时间下线，其监控显示如下：依次查看三台机器的监控图形，时间戳几乎完美“吻合”，不可思议吧。2、故障分析出现问题，先二话不说，马上重启各服务器，尽快恢复集群，降低对业务的影响，接下来开始对日志进行分析。Java进程自动退出(rocketmq本身就是一个java进程)，一种最常见的问题是由于内存溢出或由于内存泄漏导致进
分类：
系统相关 时间：
2020-12-07 12:49:05
阅读次数：
15
