requests模块 （注意与urllib.request 对比） get请求：resp = requests.get(url,headers=headers, params=data) # get请求传递参数是params=data 如若使用代理ip，则只需要再参数里添加proxies=pro 例 ...
分类：
其他好文 时间：
2018-06-16 14:26:54
阅读次数：
216
1、在python2和python3中的差异 在python2中，urllib和urllib2各有各自的功能，虽然urllib2是urllib的升级版，但是urllib2还是不能完全替代urllib，但是在python3中，全部封装成一个类，即urllib python2中urllib2和urlli ...
分类：
Web程序 时间：
2018-06-16 00:59:45
阅读次数：
179
python爬虫之urllib 在python2和python3中的差异 在python2中，urllib和urllib2各有各个的功能，虽然urllib2是urllib的升级版，但是urllib2还是不能完全替代urllib，但是在python3中，全部封装成一个类urllib。 Urllib2可 ...
分类：
编程语言 时间：
2018-06-15 17:51:57
阅读次数：
209
urlparse() urlunparse() urlsplit() urlunsplit() urljoin() urlencode() parse_qs() parse_qs1() quote() unquote() ...
分类：
编程语言 时间：
2018-06-15 15:58:39
阅读次数：
206
爬虫是什么？爬虫其实就是获取网页的内容经过解析来获得有用数据并将数据存储到数据库中的程序。 基本步骤： 1.获取网页的内容，通过构造请求给服务器端，让服务器端认为是真正的浏览器在请求，于是返回响应。python有很多请求的库，像urllib，requests库等，个人比较喜欢requests库，很容 ...
分类：
编程语言 时间：
2018-06-15 00:01:25
阅读次数：
202
requests，Python HTTP 请求库，相当于 Android 的 Retrofit，它的功能包括 Keep-Alive 和连接池、Cookie 持久化、内容自动解压、HTTP 代理、SSL 认证、连接超时、Session 等很多特性，同时兼容 Python2 和 Python3。 第三方 ...
分类：
编程语言 时间：
2018-06-14 14:53:08
阅读次数：
210
urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常 因而对程式进行了更新 对比老版本： 下面运行目前会有报错 ...
分类：
微信 时间：
2018-06-14 01:13:18
阅读次数：
290
晚上回来学学爬虫，记住，很多网站一般新手是爬不出来的，来个简单的，往下看：import urllib.requestfrom bs4 import BeautifulSoup #我用的pycharm需要手动导入这个包的import lxml #同上def getHtml(url,headers): ...
分类：
编程语言 时间：
2018-06-13 23:37:35
阅读次数：
258
urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块： request：它是最基本的http请求模块，用来模拟发送请求 error：异常处理模块，如果出现错误可以捕获这些异常 parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等 robotpars ...
分类：
编程语言 时间：
2018-06-13 23:30:39
阅读次数：
307
selenium用法详解 selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候 一、声明浏览器对象 注意点一，Python文件名或者包名不要命名为selenium， ...
分类：
其他好文 时间：
2018-06-13 18:11:16
阅读次数：
176
