目的:检测代理ip的可用性,保证代理池中代理ip基本可用 思路: 1.在proxy_test.py中,创建ProxyTester类 2.提供一个run方法,用于处理检测代理ip的核心逻辑 1)从数据库中获取所有代理ip 2)遍历代理ip列表 3)检查代理ip可用性 如果不可用,代理分数-1,如果代理 ...
分类：
编程语言 时间：
2020-04-04 22:26:12
阅读次数：
83
我前段时间的一篇博客 "java网络编程——多线程数据收发并行" 总结了服务端与客户端之间的收发并行实践。原理很简单，就是针对单一客户端，服务端起两个线程分别负责read和write操作，然后线程保持阻塞等待读写执行。 事实上，这样的模式非常糟糕。因为每一个客户端在服务端需要占用两条线程，假如有10 ...
分类：
编程语言 时间：
2020-04-04 21:11:59
阅读次数：
131
一、Nginx的基本概念和特点： Nginx (engine x) 是一个轻量级，高性能的 HTTP 和 反向代理 WEB服务器； 特点：占有内存少，并发能力强，单线程来异步非阻塞处理请求， 中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。 二、Nginx的作用： 反向代理服 ...
分类：
其他好文 时间：
2020-04-04 21:00:08
阅读次数：
81
线程池1. 第四种获取线程的方法：线程池，一个 ExecutorService，它使用可能的几个池线程之 一执行每个提交的任务, 通常使用 Executors 工厂方法配置。 2. 线程池可以解决两个不同问题：由于减少了每个任务调用的开销，它们通常可以在 执行大量异步任务时提供增强的性能，并且还可以 ...
分类：
编程语言 时间：
2020-04-04 20:50:49
阅读次数：
71
实时通信 Ajax轮训 异步的每隔一段时间向服务器发送一次请求 Long pull 类似Ajax请求,是阻塞的方式,请求服务器端后会一直等待服务器响应 websocket 基于HTTP协议的持久化协议 WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。 W ...
分类：
Web程序 时间：
2020-04-04 19:08:36
阅读次数：
86
一些简洁易懂的tricks：二分查找、二维平均卷积、异步改同步 ...
分类：
编程语言 时间：
2020-04-04 18:59:55
阅读次数：
106
1. 同步和异步关注的是消息通信机制。 同步：在发出一个调用时，需要等待返回结果，才能进行后续操作。 异步：在发出一个调用后，没有得到返回结果就可以继续后续操作。当这个调用完成后，一般通过状态、通知或回调来通知调用者。 2. 阻塞和非阻塞关注的是程序在等待调用结果（消息，返回值）时的状态。 阻塞：进 ...
分类：
其他好文 时间：
2020-04-04 18:51:00
阅读次数：
73
aiohttp分为服务器端和客户端，本文只介绍客户端。由于上下文的缘故，请求代码必须在一个异步的函数中进行： async def fn(): pass 安装 pip install aiohttp 基本语法 async with aiohttp.request('GET','https://gith ...
分类：
Web程序 时间：
2020-04-04 17:22:44
阅读次数：
117
NIO的引入 多路非阻塞高速网络IO通道 同步和异步 这个概念其是对于程序运行结果的获得方式而言: 同步:在没有获得结果之前或通过轮询的方式不断地询问结果是否产生,在得到结果之前不会返回 异步:调用者在发出调用之后,直接返回没有结果,等待被调用者产生结果之后通过状态通知调用者已完成,在通过回调函数返 ...
分类：
其他好文 时间：
2020-04-04 14:48:55
阅读次数：
70
我们都知道js是一个单线程的语言，所以没办法同时执行俩个进程。所以我们就会用到异步。 异步的形式有哪些那，es5的回调函数。es6的promis等 异步的运行原理我们可以先看下面这段代码 应该很多人都知道这个打印的值是10个10. 也有知道当我们执行的for循环的时候，他会把for循环执行完成以后再 ...
分类：
Web程序 时间：
2020-04-04 11:41:51
阅读次数：
69
