对于urllib中我们先需要导入你想实用的类 import urllib 一般需要爬取信息等 import urllib.request 或 from urllib import request ,当程序导入完 我们先说说 urllib 下一些常用的方法吧 比如说： urllib.request.u ...
分类：
Web程序 时间：
2018-05-18 13:53:14
阅读次数：
206
from urllib import request,parseurl='http://www.xxx.cn'req=request.urlopen(url) #打开一个url,发get请求content=req.read().decode()fw=open('baidu.html','w',enc ...
分类：
其他好文 时间：
2018-05-18 13:51:33
阅读次数：
122
首先urlib并不是一个很好用的方法，这里仅作简单介绍。一般我们用requests方法来代替urlib方法。 1. get请求 第1行：从urllib中导入request函数，也可以写成：import urllib.request 第2行：get请求的url链接，如果是在接口测试中，后面应带上参数， ...
分类：
Web程序 时间：
2018-05-17 20:38:03
阅读次数：
167
import reimport urllib.requeststring='<div class="name">(.*?)</div>'huo=urllib.request.urlopen("https://read.douban.com/provider/all").read()huo=huo.d ...
分类：
编程语言 时间：
2018-05-17 19:56:26
阅读次数：
215
上篇博客中我们使用python自带的urllib模块去请求一个网站，或者接口，但是urllib模块太麻烦了，传参数的话，都得是bytes类型，返回数据也是bytes类型，还得解码，想直接把返回结果拿出来使用的话，还得用json，发get请求和post请求，也不通，使用比较麻烦，还有一个比较方便的模块 ...
分类：
编程语言 时间：
2018-05-17 13:54:28
阅读次数：
138
通用： urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库。 Rob ...
分类：
编程语言 时间：
2018-05-17 13:35:34
阅读次数：
201
# 这是学习廖雪峰老师python教程的学习笔记1、概览urllib提供了一系列用于操作URL的功能。urllib中包括了四个模块，包括urllib.request：可以用来发送request和获取request的结果urllib.error：包含了urllib.request产生的异常urllib.parse：用来解析和处理URLurllib.robotparse：用来解析页面的robots.t
分类：
编程语言 时间：
2018-05-16 22:40:10
阅读次数：
471
# 这是学习廖雪峰老师python教程的学习笔记相比于Python内置的urllib模块，使用requests可以更好地处理URL资源。1、使用requests 1）通过GET访问一个页面>>> import requests>>> r = requests.get('https://www.douban.c
分类：
编程语言 时间：
2018-05-16 22:39:38
阅读次数：
227
一、网络编程 简而言之，就是通过代码打开一个url，获得返回结果并做处理。通常所说的python爬虫，就属于网络编程 二、urllib模块进行网络编程 这个方法很繁琐，不建议使用。了解 示例1： 获取一个网页内容，写入文件 示例2： 获取接口返回结果，做判断 示例3： 有参数传入时，用parse拼接 ...
分类：
编程语言 时间：
2018-05-16 20:46:16
阅读次数：
174
第一步： get post 第二步：伪装浏览器 第三步：使用代理ip 第四步：内容解析 可以使用封装好的BeautifulSoup，也可以使用re正则来匹配，原理都差不多。 ...
分类：
Web程序 时间：
2018-05-15 22:33:57
阅读次数：
276
