一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-18 11:44:04
阅读次数：
79
1.在双击“Docker Quickstart Terminal”时弹出缺少快捷方式，截图如下 2.单机快捷方式查看属性，发现配置的git位置是有问题的 现在只需要把git的正确地址配置好就可以了 现在就可以正常启动了 ...
1、下载Portainer镜像 docker pull portainer/portainer 2、安装分为单机版及集群版 2.1单机版安装 docker run -d -p 9000:9000 \--restart=always \-v /var/run/docker.sock:/var/run/ ...
分类：
其他好文 时间：
2019-08-17 10:53:42
阅读次数：
202
上一篇写的是mongo分布式锁的bug, 发现网上使用mongo实现分布式锁方案有bug, 目前我还找到解决方案, 建议大家还是使用redis来实现 具体思路还是利用redis的setnx方法的安全性, 同一时刻永远只有一个线程能set成功. 加锁代码如下: ...
分类：
其他好文 时间：
2019-08-15 21:01:12
阅读次数：
107
15.1. 传统的高可用思路 tomcat的高可用的思路，是在tomcat集群前面加一层负载服务nginx。如下图 这种做法，解决了tomcat的高可用问题。但是引入了前面的负载机器的高可用问题（Nginx如果挂了，玩完） 如果nginx沿用此思路，总会有一个最前端是单机的，存在宕机玩完的风险（鸡生 ...
分类：
其他好文 时间：
2019-08-15 05:58:32
阅读次数：
87
日常工作中总是会有高并发的场景，需要实现锁机制来保证序列性，接下来我们一步一步实现一个 单机Redis下完全可靠的Redis锁（ps: 如果是Redis集群的话，就存在主从切换锁失效的问题，解决这个问题的话就比较麻烦了，这里不做讨论，现有的解决方案有redlock，大家可以看下它的实现原理) Red ...
分类：
其他好文 时间：
2019-08-14 12:29:37
阅读次数：
110
rediscluster单机伪分布式搭建---3主3从3哨兵集群最近公司引进微服务框架,之前的一台redis的预存60G已经无法满足现在的260G业务需要,经过一番考虑搭建了这套集群.为了方便我就用一台服务器演示,生产环境中不建议这么做(没啥用),只为记录一下过程,至于精细化的配置需要在生产中自行研究演示环境[root@localhost~]#cat/etc/redhat-releaseCentO
分类：
其他好文 时间：
2019-08-13 01:01:58
阅读次数：
466
spring cloud的hystrix还有一个配搭的库hystrix dashboard,它是hystrix的一款监控工具,能直观的显示hystrix响应信息,请求成功率等.但是hystrix dashboard只能查看单机和集群的信息,如果需要将多台的信息汇总起来的话就需要使用turbine. ...
分类：
编程语言 时间：
2019-08-11 22:47:03
阅读次数：
130
JDK安装 设置hostname 设置机器hosts 创建jdk目录 上传jdk包 打开winSCP工具，通过winscp工具上传java jdk到linux 的/opt/soft文件夹下 解压jdk 将jdk文件解压到module文件夹下,命令如下： 设置jdk的环境变量 在文件末尾添加jdk的环 ...
分类：
其他好文 时间：
2019-08-10 19:18:29
阅读次数：
131
