urllib默认只支持HTTP/HTTPS的GET和POST方法 GET方式 GET请求一般用于我们向服务器获取数据，比如说，我们用百度搜索django,浏览器url会跳转成如下所示: https://www.baidu.com/s?wd=django 在其中我们可以看到在请求部分里，http:// ...
分类：
编程语言 时间：
2018-07-28 23:31:46
阅读次数：
382
1、urlopen 2、request 3、user_agent（用户代理） 4、更多Header信息 在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。 5、urllib和urllib2 urllib 仅可以接受URL，不能创建 设置了headers 的R ...
分类：
编程语言 时间：
2018-07-28 20:32:47
阅读次数：
203
前言 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib。 注:此博客开发环境为python3 urlopen 我们先来段代码: 执行写的python代码，将打印结果: 实际上，如果我们在浏览器上打开百度主页 ...
分类：
编程语言 时间：
2018-07-27 23:16:32
阅读次数：
441
网络编程 用基础的urllib包发送get请求： 输出为： 发送post请求： 输出为： 利用requests包来发送请求： 发送get请求： res.json()方法可以将得到的response返回成字典 输出为： 发送post请求： 输出为： 发送入参为json格式的post请求： 输出为： 发 ...
分类：
其他好文 时间：
2018-07-27 19:28:05
阅读次数：
193
插件：Package Control Ctrl+ `(此符号为tab按键上面的按键) 调出console ，粘贴以下代码到命令行并回车：import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.in ...
分类：
其他好文 时间：
2018-07-26 11:36:03
阅读次数：
163
一些常用的爬虫技巧归纳与以下几点： 1、基本抓取网页 get方法 import urllib2 url "http://www.baidu.com" respons = urllib2.urlopen(url) print response.read() post方法 import urllib i ...
分类：
编程语言 时间：
2018-07-24 17:52:38
阅读次数：
195
内容简介 · · · · · · 本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实 ...
分类：
编程语言 时间：
2018-07-24 13:13:56
阅读次数：
803
目录 前言： 一. 前期准备 1、准备工具： 2、示例接口说明： 3、接口踩点： 二. 接口调用（我会通过使用两个Python库来实现与接口通讯） 1、urllib发起请求： 2、Requests发起请求： 三. 结果校验 1、Python自身特性断言： 2.2、Unittest断言： 目录 前言： ...
分类：
编程语言 时间：
2018-07-23 14:48:38
阅读次数：
354
学习内容源自：博客园 金角大王 2018.7.22 Urllib库的基本使用 什么是Urllib？ Urllib是python内置的HTTP请求库包括以下基础模块：urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.rob ...
分类：
编程语言 时间：
2018-07-22 18:06:55
阅读次数：
183
1.安装好前期必备的库 - requests 向网页发出请求 解释器自带的urllib 和re selenium 用于向有js渲染的网页发起请求 from selenium import webdriver driver = webdriver.Chrome() # 生成一个driver对象，并打开 ...
分类：
数据库 时间：
2018-07-21 17:00:26
阅读次数：
310
