一、背景 因为经常有爬虫数据处理的需求,之前一直用的多线程+requests方式爬虫,但是这种方式有两个问题: 1、当请求很多,并发稍微多一点的时候电脑特别卡 2、每次变更请求包,比如post换get,需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因,搞了一个基于socket+ ...
分类:
其他好文 时间:
2021-02-27 13:13:04
阅读次数:
0
1.查看所有现有环境: conda info -e conda list:查看安装了哪些包。 conda install package_name(包名):安装包 conda env list 或 conda info -e:查看当前存在哪些虚拟环境 conda update conda:检查更新当 ...
分类:
其他好文 时间:
2021-02-27 13:11:50
阅读次数:
0
Druid出现DruidDataSource - recyle error - recyle error java.lang.InterruptedException: null异常排查与解决 Druid出现DruidDataSource - recyle error - recyle error ...
分类:
编程语言 时间:
2021-02-26 13:23:10
阅读次数:
0
vue2的 npm run build 打包时报此错误log的情况下 拓展 https://www.cnblogs.com/leiting/p/8442214.html 1.检查报错路径下是否有报错所指的文件夹 2.没有的话 人工添加一个就OK 人工添加此文件 ...
分类:
Web程序 时间:
2021-02-26 13:10:46
阅读次数:
0
[root@localhost logs]# tail -100f error.log ngx_http_fastdfs_process_init pid=11255 [2021-02-24 19:11:20] ERROR - file: ../common/fdfs_http_shared.c, ...
分类:
其他好文 时间:
2021-02-26 12:54:25
阅读次数:
0
异常信息:ERROR [amqpReceiver.01] org.mule.exception.DefaultSystemExceptionStrategy: Caught exception inflowConstructt&org/mule/api/construct/FlowConstruct ...
分类:
其他好文 时间:
2021-02-25 12:20:16
阅读次数:
0
解决git clone慢 原命令:git clone https://github.com/xxx 替换为:git clone https://github.com.cnpmjs.org/xxx 解决npm install慢 换成阿里镜像源:npm config set registry https ...
分类:
其他好文 时间:
2021-02-25 12:13:34
阅读次数:
0
docker 的安装 yum update sudo yum-config-manager \ --add-repo \ http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 安装docker: sudo yum instal ...
分类:
其他好文 时间:
2021-02-25 12:03:20
阅读次数:
0
background 在以5.3为内核的ubuntu中编译3.10的内核时,出现: include/linux/compiler-gcc.h:106:30: fatal error: linux/compiler-gcc5.h错误 尝试了网上说的将当前内核(5.3)的compiler-gcc.h复制 ...
分类:
其他好文 时间:
2021-02-24 13:28:44
阅读次数:
0
查看sql_model参数命令:SELECT @@SESSION.sql_mode; 解决方法:命令行输入set sql_mode =’STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENG ...
分类:
数据库 时间:
2021-02-24 12:58:47
阅读次数:
0