目的:检测代理ip的可用性,保证代理池中代理ip基本可用 思路: 1.在proxy_test.py中,创建ProxyTester类 2.提供一个run方法,用于处理检测代理ip的核心逻辑 1)从数据库中获取所有代理ip 2)遍历代理ip列表 3)检查代理ip可用性 如果不可用,代理分数-1,如果代理 ...
分类：
编程语言 时间：
2020-04-04 22:26:12
阅读次数：
83
```python from collections import namedtuple import os,time import random Query=namedtuple('Query',('y','x')) Transition=namedtuple('Transition',('y',... ...
分类：
编程语言 时间：
2020-04-02 01:30:00
阅读次数：
107
最早知道的概念是进程 , 每个进程里面的执行单元是线程 , 一个进程肯定有一个主线程 , 也可以开出一些子线程 ,这俩都是操作系统控制的 协程是啥概念? 现在又在线程里面增加了个协程的单元 , 这个是各程序自己去实现的概念 , 是比线程更小的一个单元 在一个线程里面如果开启了一个协程 , 这个主线程 ...
分类：
系统相关 时间：
2020-04-01 19:29:30
阅读次数：
85
tolua反射应用 有时候要修改紧急bug或者增加一个新功能，但又不能更新整包。C 代码没有导出wrap，可以临时用一下tolua的反射。 C 代码： lua代码： 运行结果： 参考博文：https://blog.csdn.net/zoujiandong_8888/article/details/8 ...
分类：
其他好文 时间：
2020-03-31 20:53:40
阅读次数：
136
import socket ''' 用来验证协程的实现原理，除了多进程是直接进行多个任务进行，多线程和多线程的本质都是运用阻塞时间处理其他数据 进程是并行的，真正的同时运行；线程和协程是并发的，是运用间隔时间轮流调用 ''' tcp_socket = socket.socket(socket.AF_ ...
分类：
编程语言 时间：
2020-03-31 01:27:36
阅读次数：
76
一、多任务简介 1、为什么要使用多任务爬虫？ 在大量的url需要请求时，单线程/单进程去爬取，速度太慢，此时cpu不工作，浪费cpu资源。 爬取与写入文件分离，可以规避io操作，增加爬取速度，充分利用cpu。 2、多任务分类 进程：进程是操作资源分配的最小单位，一个运行的程序，至少包括一个进程，进程 ...
分类：
其他好文 时间：
2020-03-31 01:20:58
阅读次数：
58
import socket import gevent from gevent import monkey monkey.patch_all() def tcp_serve(resp_socket): recv_data = resp_socket.recv(1024) # 处于阻塞状态等待客户端给 ...
分类：
Web程序 时间：
2020-03-31 01:19:52
阅读次数：
101
举一个例子，模拟一个tcp服务器处理30个客户socket。 假设你是一个老师，让30个学生解答一道题目，然后检查学生做的是否正确，你有下面几个选择： 1. 第一种选择：按顺序逐个检查，先检查A，然后是B，之后是C、D。。。这中间如果有一个学生卡主，全班都会被耽误。这种模式就好比，你用循环挨个处理s ...
分类：
其他好文 时间：
2020-03-30 21:15:38
阅读次数：
55
安装 Lua 和 Lua for nginx 安装更高效的 Lua 语言解释器 LuaJIT 安装 ngx_devel_kit 和 lua nginx module shell wget https://github.com/simpl/ngx_devel_kit/archive/v0.3.0.ta ...
分类：
其他好文 时间：
2020-03-30 20:00:52
阅读次数：
68
安装 memcached 安装 memcached for lua 创建 test.lua 文件 nginx配置 由于我们将 这个IP添加进了 中，因此访问 的时候，看到的内容就是 而开启全局代理之后，发现看到的内容就是 ，这样就实现了针对部分用户进行灰度测试的效果 专题阅读 "1\. Nginx的 ...
分类：
其他好文 时间：
2020-03-30 19:43:15
阅读次数：
72
