爬虫性能相关 爬虫的本质就是一个socket客户端与服务端的通信过程,如果有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等同于低效,如果这N个任务都是纯计算的任务,那么该线程对cpu的利用 ...
分类:
其他好文 时间:
2019-03-25 01:19:26
阅读次数:
141
1、elements 指的当前页面的样式,查看图片以及布局等 2、console js交互 3、source 访问的当前页面涉及到哪些资源 4、network 4.1、request Headers 其实这里浏览器还充当了socket客户端的角色,第一步就是和服务器建立连接 send和rec之间 1 ...
分类:
Web程序 时间:
2019-03-25 01:14:19
阅读次数:
252
使用的类 ServerSocket 服务器端 构造方法:ServerSocket(端口号); 接收端使用 方法:accept(); 返回一个 Socket对象 getInetAddress();返回发送端的地址 InetAddress对象 Socket 客户端 发送端 构造方法: Socket(IP ...
分类:
其他好文 时间:
2019-03-20 19:18:16
阅读次数:
182
一:什么是web框架? 框架,即framework,特指为解决一个开放性问题而设计的具有一定约束性的支撑结构,使用框架可以帮你快速开发特定的系统,简单地说,就是你用别人搭建好的舞台来做表演。 对于所有的Web应用,本质上其实就是一个socket服务端,用户的浏览器其实就是一个socket客户端。 最 ...
分类:
其他好文 时间:
2019-03-14 19:49:58
阅读次数:
178
一、什么是Web框架 框架,即framework,特指为解决一个开放性问题而设计的具有一定约束性的支撑结构,使用框架可以帮你快速开发特定的系统。 浏览器与服务器之间发起HTTP请求: 对于所有的Web应用,本质上其实就是一个socket服务端,用户的浏览器其实就是一个socket客户端。 impor ...
分类:
其他好文 时间:
2019-03-11 23:43:28
阅读次数:
462
Web框架本质 我们可以这样理解:所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端。 这样我们就可以自己实现Web框架了。 半成品自定义web框架 import socket sk = socket.socket() sk.bind(("127.0.0.1" ...
分类:
Web程序 时间:
2019-02-28 16:43:47
阅读次数:
197
cls超 Navicat工具、pymysql模块 阅读目录 一 IDE工具介绍 二 pymysql模块 一 IDE工具介绍(Navicat) 生产环境还是推荐使用mysql命令行,但为了方便我们测试,可以使用IDE工具,我们使用Navicat工具,这个工具本质上就是一个socket客户端,可视化的连 ...
分类:
数据库 时间:
2019-02-27 17:35:47
阅读次数:
175
一 web框架的本质及自定义web框架 我们可以这样理解:所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端,基于请求做出响应,客户都先请求,服务端做出对应的响应,按照http协议的请求协议发送请求,服务端按照http协议的响应协议来响应请求,这样的网络通信, ...
分类:
Web程序 时间:
2019-02-24 18:52:06
阅读次数:
182
本文将探讨 socket 客户端的非阻塞式连接,连接成功后的错误判断及退出重连。 1. 连接方法 关于socket 客户端的非阻塞 connect 编程,网上找到的实现方式一般都是, 套接字创建之后,默认是阻塞式的,对其执行 connect 操作,如果服务端在监听,则会成功建立连接,但这只是理想情况 ...
分类:
其他好文 时间:
2019-02-22 16:57:40
阅读次数:
413
做一个socket客户端1、声明一个实例2、绑定端口号和地址3、循环发送和接收响应其中要注意粘包的产生,为了防止粘包的产生,应该在服务器端先测出要发送信息的大小,然后发送响应至客户端,等到服务器上一条信息发送完毕,客户再响应准备好接收下一条信息这样就不会有粘包的产生import socketclie ...
分类:
编程语言 时间:
2019-02-11 12:38:49
阅读次数:
214