一、背景说明 由于python3的urllib与python2有不少差别，而且urllib.request请求的一些写法不太符合人的思维习惯，所以搞得真不太想用python 直到看urllib.request文档时注意到下边这句话 1.1 适用版本 适用于python2.6、python2.7、py ...
分类：
编程语言 时间：
2018-05-22 12:51:47
阅读次数：
320
1.基本方法 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) - url: 需要打开的网址 - data：Post提交的数据 - ...
分类：
Web程序 时间：
2018-05-22 00:49:40
阅读次数：
284
简介 有时候，我们天真无邪的使用urllib库或Scrapy下载HTML网页时会发现，我们要提取的网页元素并不在我们下载到的HTML之中，尽管它们在浏览器里看起来唾手可得。 这说明我们想要的元素是在我们的某些操作下通过js事件动态生成的。举个例子，我们在刷QQ空间或者微博评论的时候，一直往下刷，网页 ...
分类：
编程语言 时间：
2018-05-22 00:06:18
阅读次数：
254
//我先准备一个记事本准备页面网址 s=页数 q=搜索值 //爬取相对的网页数据 //找到图片的网址在源代码中ctrl+f 找到TB1xjf5dFhM8kjiszfwxxcib的代码复制用正则精准爬取 //遍历结果 import urllib.requestimport resuo="夹克男"key ...
分类：
其他好文 时间：
2018-05-21 16:25:07
阅读次数：
144
是不是很简单？比urllib2和urllib简单直观的多？！那请接着看快速指南吧。 3. 快速指南 3.1 发送请求 发送请求很简单的，首先要导入requests模块： 前两个例子很正常，能正常打开的返回200，不能正常打开的返回404。但第三个就有点奇怪了，那个是百度搜索结果中的302跳转地址，但 ...
分类：
其他好文 时间：
2018-05-21 16:22:16
阅读次数：
156
代理网址 http://www.xicidaili.com urllib.request.ProxyHandler({"http":端口}) //代理操作 urllib.request.build_opener(代理名,urllib.request,HTTPHandler) import urlli ...
分类：
其他好文 时间：
2018-05-21 10:33:30
阅读次数：
763
一、什么是RequestsRequests 是?ython语?编写，基于urllib，采?Apache2 Licensed开源协议的 HTTP 库。它? urllib 更加?便，可以节约我们?量的?作，完全满?HTTP测试需求。?句话——Python实现的简单易?的HTTP库二、安装Requests ...
分类：
编程语言 时间：
2018-05-20 23:57:12
阅读次数：
489
1.python-3.6.1.exe 1）安装时选择add to path 和 for all user 2）安装32位是出于兼容更多开发库的考虑 2.验证 1）cmd python 2）from urllib.request import urlopen 无报错说明安装成功 3.安装beautif ...
分类：
编程语言 时间：
2018-05-20 18:17:17
阅读次数：
164
urllib.request urllib当中使用最多的模块,涉及请求，响应，浏览器模拟，代理，cookie等功能。 1. 快速请求 urlopen返回对象提供一些基本方法： read 返回文本数据 info 服务器返回的头信息 getcode 状态码 geturl 请求的url 2.模拟PC浏览器 ...
分类：
编程语言 时间：
2018-05-20 16:46:15
阅读次数：
260
from urllib import parseurl='http://www.baidu.com?query=python基础教程'url_str=parse.quote_plus(url)#URL编码baidu_url='http%3A%2F%2Fwww.baidu.com%3Fquery%3D ...
分类：
Web程序 时间：
2018-05-20 16:37:00
阅读次数：
229
