class day19: def __init__(): pass def do_homework(): pass def do_my_project(): pass '''Django 回顾''' - http请求周期 浏览器(socket客户端) 2.socket.connect(ip,port... ...
分类：
其他好文 时间：
2018-01-28 20:07:08
阅读次数：
308
阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 ...
分类：
编程语言 时间：
2018-01-24 16:57:48
阅读次数：
201
一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 ...
分类：
其他好文 时间：
2018-01-24 15:24:01
阅读次数：
189
如何提升爬虫性能相关的知识点 爬虫的本质是伪造socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个url结束后才能继续下一个，这样我们就会发现效率非常低。 原因：爬虫是一项IO密集型任务，遇到IO问题就会阻塞，CPU运行就会停滞，直到 ...
分类：
其他好文 时间：
2018-01-23 18:26:52
阅读次数：
213
一 什么是web框架？ 框架，即framework，特指为解决一个开放性问题而设计的具有一定约束性的支撑结构，使用框架可以帮你快速开发特定的系统，简单地说，就是你用别人搭建好的舞台来做表演。 对于所有的Web应用，本质上其实就是一个socket服务端，用户的浏览器其实就是一个socket客户端。 i ...
分类：
Web程序 时间：
2018-01-23 01:00:12
阅读次数：
207
爬虫性能相关 阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任 ...
分类：
其他好文 时间：
2018-01-22 16:09:09
阅读次数：
191
阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 ...
分类：
其他好文 时间：
2018-01-22 16:08:20
阅读次数：
236
一、什么是web框架？ 框架，即framework，特指为解决一个开放性问题而设计的具有一定约束性的支撑结构，使用框架可以帮你快速开发特定的系统，简单的说，就是你用别人搭建好的舞台来做表演。 对于所有的web应用，本质上其实就是一个socket服务端，用户的浏览器其实就是一个socket客户端。 最 ...
分类：
Web程序 时间：
2018-01-21 19:22:46
阅读次数：
301
web框架 框架，即framework，特指为解决一个开放性问题而设计的具有一定约束性的支撑结构，使用框架可以帮你快速开发特定的系统，以避免重复造轮子。 所有的Web应用，本质上是一个socket服务端，用户的浏览器其实就是一个socket客户端。 import socket def handle_ ...
分类：
其他好文 时间：
2018-01-20 16:19:23
阅读次数：
168
