人生苦短，我用 Python 前文传送门： "小白学 Python 爬虫（1）：开篇" "小白学 Python 爬虫（2）：前置准备（一）基本类库的安装" "小白学 Python 爬虫（3）：前置准备（二）Linux基础入门" "小白学 Python 爬虫（4）：前置准备（三）Docker基础入门" ...
分类：
编程语言 时间：
2020-01-17 09:36:08
阅读次数：
87
categories: 爬虫 tags: urlopen urlretrieve urlencode parse_qs urlparse urlsplit urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数 ...
分类：
Web程序 时间：
2020-01-16 21:51:59
阅读次数：
126
categories: 爬虫 tags: urlopen urlretrieve urlencode parse_qs urlparse urlsplit urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数 ...
分类：
Web程序 时间：
2020-01-16 20:31:31
阅读次数：
115
urllib（request,error,parse,robotparse） request模块 方法:urlopen() 最基本http请求方法，利用它可以模拟浏览器的一个请求发起过程，同时他还带有助力授权验证authentication,重定向redirection,浏览器cookie 以及其他 ...
分类：
Web程序 时间：
2020-01-16 14:18:05
阅读次数：
99
收到粉丝私信说urllib库的教程还没写，好吧，urllib是python自带的库，没requests用着方便。本来嘛，python之禅（import this自己看）就说过，精简，效率，方便也是大家的追求。不过大家有要求，那就写一篇关于urllib的基础教程。 本文中的知识点： get请求 使用代 ...
分类：
编程语言 时间：
2020-01-15 19:28:11
阅读次数：
99
1. 请求方式 # 介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请 ...
分类：
编程语言 时间：
2020-01-14 10:09:17
阅读次数：
124
一、reponse解析 urlopen的返回对象 （1）geturl：返回网页地址 （2）info：请求反馈对象的meta信息 （3）getcode：返回的http code from urllib import request import chardet """ 解析reponse """ if ...
分类：
编程语言 时间：
2020-01-13 01:11:19
阅读次数：
150
#bs4的使用 import re import requests from urllib import error from bs4 import BeautifulSoup import os url = 'https://c.y.qq.com/soso/fcgi-bin/client_sear ...
分类：
其他好文 时间：
2020-01-11 20:09:27
阅读次数：
79
爬虫学习 Python网络爬虫第三弹《爬取get请求的页面数据》 一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是u ...
分类：
编程语言 时间：
2020-01-11 10:12:56
阅读次数：
105
打开six的介绍，可以看到：six是为了解决Python2 和 Python3 代码兼容性而产生的，众所周知 Python 2 和 Python 3 版本的分裂给 Python 开发者们带来了很大的烦恼，为了使代码同时兼容两个版本，往往要增加大量的代码，典型的就有urllib部分方法不兼容。 所以， ...
分类：
编程语言 时间：
2020-01-09 13:04:14
阅读次数：
66
