requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多 因为是第三方库,所以使用前需要cmd安装 pip install requests 安装完成后import一下,正常则说明可以开始使用了。 基本用法: requests.get()用于请求目标网站,类型是一个H ...
分类:
编程语言 时间:
2017-11-23 08:28:49
阅读次数:
226
urllib是python自带的请求库,各种功能相比较之下也是比较完备的,urllib库包含了一下四个模块: urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparse robots.txt解析模块 下 ...
分类:
编程语言 时间:
2017-11-22 14:15:41
阅读次数:
135
import reimport urllib.requestfrom docx import Documentheader=("User-Agent",'User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML ...
分类:
编程语言 时间:
2017-11-21 23:53:29
阅读次数:
207
爬虫:请求目标网站并获得数据的程序 爬虫的基本步骤: 使用python自带的urllib库请求百度: 可以从类型上看出来,response是一个HTTP响应 请求: 请求的方式以GET和POST最为常用,一般的GET方法将请求参数放在URL中。如在百度中搜索一个关键词,这就形成了以GET在URL中更 ...
分类:
编程语言 时间:
2017-11-21 23:41:28
阅读次数:
159
import reimport urllib.requestimport urllib.errorurl="http://blog.csdn.net"header=("User-Agent",'User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) Apple... ...
分类:
编程语言 时间:
2017-11-21 18:43:52
阅读次数:
198
发起http请求 获取返回值 返回值是字符串 第三方模块安装 pip install requests 返回值格式 xml html jaon json 功能 loads 字符串》》》列表 字典 字符串里面必须是“”,因为其他的编程语言字符串都是“” dups 列表》》》字符串 xml <class ...
分类:
Web程序 时间:
2017-11-21 01:02:52
阅读次数:
227
urllib模块是python自带的,直接调用就好,用法如下: 相比较urllib模块,requests模块要简单很多,具体用法如下: 显而易见,requests模块要方便很多,建议大家使用requests模块。 ...
分类:
编程语言 时间:
2017-11-20 23:24:45
阅读次数:
487
一. 上节课复习 1. 为何要使用函数 1. 解决代码重用问题 2. 统一维护 3. 程序的组织结构清晰,可读性强 1. 定义函数 1. !!!先定义后使用 2. 定义无参函数 定义有参函数 定义空函数 2. 调用函数 1. 语句形式:foo() 2. 表达式形式:foo(1,2) 3. 函数调用作 ...
分类:
其他好文 时间:
2017-11-20 21:50:28
阅读次数:
142
Python3和Python2的urllib模块不太一样,本篇文章是以Python3为前提。 1.urlopen的使用 2.Request的使用 3.代理 4.Cookie 5.异常处理 ...
分类:
编程语言 时间:
2017-11-20 13:08:56
阅读次数:
213
Python的一个很广泛的功能就是爬虫。爬虫可以获取我们需要的资料,甚至进行DDos的工具。爬虫现在比较流行的是Scrapy之类的模块,但是在学习这些工具之前,先了解一下Urllib模块,知道他的基本工作原理。爬虫的基本思路:扫描获取对应的Url,扫描Url网页的内容,通过正则匹配获..
分类:
编程语言 时间:
2017-11-20 10:32:50
阅读次数:
186