1、需要的环境 Python2.X Requests 库 2、单字段发送单个文件 在requests中发送文件的接口只有一种，那就是使用requests.post的files参数， 请求形式如下： url = "http://httpbin.org/post" url = "http://httpb ...
分类：
编程语言 时间：
2018-10-08 00:49:06
阅读次数：
187
整个scrapy流程，我们可以用去超市取货的过程来比喻一下 两个采购员小王和小李开着采购车，来到一个大型商场采购公司月饼。到了商场之后，小李（spider）来到商场前台，找到服务台小花（引擎）并对她说，我们需要采购六楼五仁月饼店（url）。小花说好的，我给你填一个采购单（requests）,给小美（ ...
分类：
其他好文 时间：
2018-10-06 21:32:12
阅读次数：
167
官方文档： http://nginx.org/en/docs/http/ngx_http_log_module.html The ngx_http_log_module module writes request logs in the specified format. Requests are ...
分类：
其他好文 时间：
2018-10-06 00:02:41
阅读次数：
195
根据静觅老师博客所写 博客地址：https://cuiqingcai.com/ Requests -- Python实现的简单易用的HTTP库 安装方法 pip install Requests response = requests.get("www.baidu.com") 基本 get 方式 r ...
分类：
编程语言 时间：
2018-10-05 14:03:16
阅读次数：
183
``` import requests import time from read_ip_pool import read_ip_pool PROXIES_URL = '' def get_ip_pool(url=PROXIES_URL): """ 根据URL构造代理池 :param PROXIES... ...
分类：
Web程序 时间：
2018-10-04 22:02:40
阅读次数：
165
python模块selenium使用 我使用的是python2.7 可以直接用pip install 安装 这里记录一下，我使用这个模块编写爬虫的学习 做爬虫，我之前都是使用requests 模块写的，如果简单的爬虫，用这个模块确实可以，但是，如果我们要爬取一些比较复杂的网站，如果直接用这个模块写的 ...
分类：
编程语言 时间：
2018-10-04 18:57:13
阅读次数：
232
Python中可以用来爬取网络数据的库有很多，常见的有：urllib、urllib2、urllib3、requests、scrapy、selenium等。 基本上可以分为3类： 第一类：urllib、urllib2、urllib3、requests； 第二类：scrapy； 第三类：selenium ...
分类：
其他好文 时间：
2018-10-04 10:39:37
阅读次数：
207
补充小知识： User-Agent 那么User-Agent到底是什么呢？ User-Agent会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答 那么User-Agent到底是什么呢？ User-Agent会告诉网站服务器，访问者是通过什么工具来 ...
分类：
其他好文 时间：
2018-10-03 22:45:31
阅读次数：
199
requests.exceptions.MissingSchema: Invalid URL '//p9.pstatp.com/list/pgc-image/1538380201743a84869e0b6': No schema supplied. Perhaps you meant http:// ...
分类：
其他好文 时间：
2018-10-02 20:12:15
阅读次数：
331
（一）目标站点的分析 首先打开我们的目标网站，发现每一页有十个电影，最下面有分页标志，而分页只改变的是标签后缀，如下： 而后可以在网页按f12打开源代码管理，查看网页每处信息对应的源代码形式，如下图： （二）流程框架 经过简单分析后，我们可以整理一下总的流程分为四步： （三）实战编码 1.我们首先完 ...
分类：
其他好文 时间：
2018-10-02 17:35:37
阅读次数：
228
