一、背景 因为经常有爬虫数据处理的需求，之前一直用的多线程+requests方式爬虫，但是这种方式有两个问题： 1、当请求很多，并发稍微多一点的时候电脑特别卡 2、每次变更请求包，比如post换get，需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因，搞了一个基于socket+ ...
分类：
其他好文 时间：
2021-02-27 13:13:04
阅读次数：
0
1.windows下调试时需要将hadoop.dll文件放到C:\Windows\System32下，网上很多说改源码的，其实这样也是ok的，不然会报权限错误 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache. ...
[root@localhost logs]# tail -100f error.log ngx_http_fastdfs_process_init pid=11255 [2021-02-24 19:11:20] ERROR - file: ../common/fdfs_http_shared.c, ...
分类：
其他好文 时间：
2021-02-26 12:54:25
阅读次数：
0
参考文章 安装nignx1.14，并且打补丁，反向代理健康监控，ssl，解决自启动报pid错误 nginx 反向代理，和ssl重定向。 安装nignx nignx的安装目录 /usr/nginx nignx的源码目录 /usr/local/src/nginx nignx的健康监控目录 /usr/ng ...
分类：
编程语言 时间：
2021-02-25 12:22:59
阅读次数：
0
#!/bin/bash -ilex #服务名称 SERVER_NAME=project-name 源jar路径,mvn打包完成之后，target目录下的jar包名称，也可选择成为war包，war包可移动到Tomcat的webapps目录下运行，这里使用jar包，用java -jar 命令执行 JAR ...
分类：
其他好文 时间：
2021-02-25 12:21:35
阅读次数：
0
1、前言 在上一篇文章中使用了SpringBoot整合Swagger2，搭建Restful API在线文档（链接）。但是有大佬开发出了功能更加强大的在线文档框架——Swagger-Bootstrap-UI，现在已经更名为Knife4j，因为仅仅一个Swagger-Bootstrap-UI皮肤已经不能 ...
分类：
编程语言 时间：
2021-02-25 12:04:46
阅读次数：
0
当在终端执行sudo命令时，系统提示“hadoop is not in the sudoers file”： 其实就是没有权限进行sudo，解决方法如下（这里假设用户名是cuser）： 1.切换到超级用户：$ su 2.打开/etc/sudoers文件：$vim /etc/sudoers 3.修改文 ...
分类：
其他好文 时间：
2021-02-25 11:47:06
阅读次数：
0
错误原因：这里就是说，分组这一列里面，包含了非字符串的内容，比如数字。因为 .str.contains 的使用就要求这个字段必须是字符串，不能掺杂数字的。 解决方案： # 包含对应关系的所有行 data_ych_pid = self.database[self.database[column_nam ...
分类：
其他好文 时间：
2021-02-24 13:25:38
阅读次数：
0
使用CacheManager 1 Cache 作用 Cache 缓存: 计算机内存中一段数据 作用: 用来减轻DB的访问压力,从而提高系统的查询效率 流程: 2 .使用shiro中默认EhCache实现缓存 (1).引入依赖 <!--引入shiro和ehcache--> <dependency> < ...
分类：
编程语言 时间：
2021-02-23 14:27:13
阅读次数：
0
思路： 1. 查询出端口所在进程的PID 2. 杀死进程（PID） Linux 查询占用的端口(如8080端口) netstate -anp | grep 8080 杀死进程 kill -9 2787 #进程的pid Mac 查询占用的端口(如8080端口) sudo lsof -i tcp:808 ...
分类：
其他好文 时间：
2021-02-20 11:59:43
阅读次数：
0
