使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Red
分类：
其他好文 时间：
2020-12-09 11:53:29
阅读次数：
6
call,apply简介 首先介绍下call和apply两个方法，这两个方法都是挂载在函数的原型上的，所以所有的函数都可以调用这两个方法。 注意：call()方法的作用和 apply() 方法类似，区别就是call()方法接受的是参数列表，而apply()方法接受的是一个参数数组。 例子： func ...
分类：
移动开发 时间：
2020-12-08 13:02:42
阅读次数：
20
我们都知道，java中的数据类型可以分为基本数据类型和引用数据类型，java中的传递可以分为值传递和引用传递，两者之间的主要区别是什么呢？两者之间的造成区别的原因又是什么呢？本文从最基本的java虚拟机的存储进行展开解释，并且附有示例演示。 ...
分类：
编程语言 时间：
2020-12-08 13:00:48
阅读次数：
13
1、在安装jenkins服务器上安装git和nodejs,且配置环境变量。 2、jenkins安装git、nodejs、Publish Over SSH 插件 manage jenkins --> manage plugins --> 可选插件 安装完成后重启一下jenkins服务http://ip ...
分类：
其他好文 时间：
2020-12-08 12:18:56
阅读次数：
4
消息组接到某项目组反馈，topic在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下：例如业务主体名topic_dw_test_by_order_01的路由信息如图所示：当前的消费者信息：broker的配置信息如下：brokerClusterName=DefaultCl
分类：
其他好文 时间：
2020-12-07 12:44:57
阅读次数：
13
#!/bin/sh array=('192.168.147.128' '192.168.147.129' '192.168.147.131') path="/usr/local/zookeeper/bin/" for var in ${array[*]} do process_count=$(ssh ...
分类：
其他好文 时间：
2020-12-07 12:44:14
阅读次数：
10
1.安装mysql5.7 docker镜像 拉取官方mysql5.7镜像 docker pull mysql:5.7 查看镜像库 docker images 2.创建mysql容器 在本地创建mysql的映射目录 mkdir -p /root/mysql/data /root/mysql/logs ...
分类：
数据库 时间：
2020-12-07 12:39:29
阅读次数：
8
最近在搞 C++ 相关的东西，因为在 Linux 下开发会比较流畅舒适，而公司配的电脑都是 windows 的，之前都是在 vmware 中安装个 ubuntu 虚拟机，但这种有时候比有点卡顿。所以今天就尝试一下看有没有其他的途径，结果发现了 win10 的 wsl 是一个非常棒的选择。下面就一起来 ...
VMware官方网站 https://www.vmware.com VMware Workstation Pro已于近日更新。毫无疑问，这可能是Windows系统上最强大最好用的虚拟机！ VMware Workstation Pro 16 发行说明 发行说明：https://docs.vmware. ...
分类：
系统相关 时间：
2020-12-07 12:31:29
阅读次数：
9
两天学习nexus，在学校的时候学习这个没有什么思路，只能自己百度学习。同事给了我3000个jar包，上传还需要一条一条上传，没办法，写个小脚本。 首先安装maven 安装nexus nexus需要监听的端口为8081，确保本地端口8081没有占有 先安装maven 将包拖入到虚拟机中 jdk-8u ...
分类：
编程语言 时间：
2020-12-07 12:27:59
阅读次数：
6
