爬取的数据一般需要提交给数据库，这里就介绍了三个主流数据库的连接(mysql,redis,mongodb),如果你的数据库服务器都放在liunx系统上首先要修改一下配置文件将bind 127.0.0.1修改为bind 0.0.0.0这样才能访问数据库。并且需要查看linux防火墙设置。如果开启要将其 ...
分类：
数据库 时间：
2021-04-10 13:21:40
阅读次数：
0
一、iptables防火墙 1、基本操作 # 查看防火墙状态 service iptables status # 停止防火墙 service iptables stop # 启动防火墙 service iptables start # 重启防火墙 service iptables restart # ...
分类：
系统相关 时间：
2021-04-07 11:31:55
阅读次数：
0
RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的 ...
分类：
系统相关 时间：
2021-04-06 14:53:55
阅读次数：
0
一、iptables常用命令 #查看已有的防火墙规则链 iptables -L #清空已有的防火墙规则链 iptables -F #把 INPUT 规则链的默认策略设置为拒绝 iptables -P INPUT DROP #向 INPUT 链中添加允许 ICMP 流量进入的策略规则 iptables ...
分类：
系统相关 时间：
2021-04-05 11:55:37
阅读次数：
0
# https://github.com/tczhangzhi/pytorch-distributed/blob/master/distributed.py # remember best acc@1 and save checkpoint is_best = acc1 > best_acc1 be ...
分类：
其他好文 时间：
2021-04-02 12:56:50
阅读次数：
0
前言：方案仅供参考，请参考前置条件和问题描述后以实际情况为准； 前置条件：导入centos7后，关闭selinux，关闭防火墙，主机ping通了虚拟机，虚拟机无法ping主机，于是在百度上搜索后一顿操作猛如虎，最后作死了..... 问题描述： 虚拟机导入的centos7默认为nat连接；原本主机能p ...
分类：
其他好文 时间：
2021-03-31 12:02:40
阅读次数：
0
必备知识点： 1.代理和隧道技术区别? 2.隧道技术为了解决什么? 3.隧道技术前期的必备条件？ 在数据通信被拦截的情况下利用隧道技术封装改变通信协议进行绕过拦截 CS、MSF无法上线，数据传输不稳定无回显，出口数据被监控，网络通信存在问题等 在实际的网络中，通常会通过各种边界设备、软/硬件防火墙甚 ...
分类：
其他好文 时间：
2021-03-30 13:30:25
阅读次数：
0
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. ...
分类：
其他好文 时间：
2021-03-30 12:44:32
阅读次数：
0
这是我踩到的坑，前提是你防火墙和阿里云安全组都开放3306端口 找到Docker下的MySQL查看服务是否启动。 命令 docker ps 如果发现启动了在检测是否被外部访问 我们进去MySQL内部 docker exec -it 174d28305a3f bash 这里的174d28305a3f ...
分类：
数据库 时间：
2021-03-29 12:25:26
阅读次数：
0
简述 zimg是图像存储和处理服务器。您可以使用URL参数从zimg获取压缩和缩放的图像。 zimg的并发I / O，分布式存储和时间处理能力非常出色。 您不再需要在图像服务器中使用nginx。在基准测试中，zimg可以在高并发级别上处理每秒3000+图像下载任务和每秒90000+ HTTP回应请求 ...
分类：
其他好文 时间：
2021-03-29 12:20:06
阅读次数：
0
