【urllib and urllib2】 这是两个python的网络模块 内置的 提供很好的网络访问的功能。 ...
分类：
编程语言 时间：
2017-07-04 20:23:36
阅读次数：
137
一、引入拓展库 由于刚刚起步学习爬虫，故从urllib库开始 首先引入urllib，这里主要用到urllib中request类 二、设置全局参数 我把它分为三个变量：代理服务器IP、目标网址、存放路径。 三、将爬虫模拟成浏览器访问页面 由于urlopen不支持一些HTTP的高级功能，所以要想达到预期 ...
分类：
编程语言 时间：
2017-07-02 23:12:05
阅读次数：
397
Django项目在访问Restful service时调用urllib.urlencode编码中文字符串时碰到下面这个错误、 这个错误在windows7的开发环境下没有发生，在Linux生产环境下发生了，比较郁闷，刚上线以后的Bug.Google以后，在一份中文资料(链接见参考资料)中看到URL字符 ...
分类：
编程语言 时间：
2017-07-02 13:03:37
阅读次数：
160
实现每个链接都能独立缓存，如果存在直接读取，如果不存在，则获取网页，然后系列化后保存到本地 目录功能比较简单：后续可能会改进 ...
分类：
Web程序 时间：
2017-07-01 20:53:50
阅读次数：
246
下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。 1 >>> help(urllib.urlretrieve) 2 Help on function urlretrieve in module urllib: 3 ...
分类：
编程语言 时间：
2017-06-30 17:31:46
阅读次数：
154
不知道从那个版本起，python用urlopen打开一个https时会验证一次 SSL 证书，当目标使用的是自签名的证书时就会爆出一个 <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c: ...
分类：
编程语言 时间：
2017-06-30 00:05:29
阅读次数：
308
1 import sys 2 import multiprocessing 3 import re 4 import os 5 import urllib.request as lib 6 7 def craw_links( url,depth,keyword,processed): 8 ''' u... ...
分类：
编程语言 时间：
2017-06-29 23:58:02
阅读次数：
440
requests是Python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的： python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。 我也看了下r ...
分类：
编程语言 时间：
2017-06-29 23:50:57
阅读次数：
288
#conding:utf-8 import unittest from selenium import webdriver from urllib.request import * import re import time from bs4 import BeautifulSoup #测试类 cl... ...
分类：
编程语言 时间：
2017-06-29 19:12:00
阅读次数：
194
使用facebook graph api，报错如下 一开始以为是https证书验证失败，查了一下午源码，没有看到问题，于是把Python27\lib\site-packages\requests\adapters.py文件的如下位置异常处理注释掉了，看看异常到底从哪来的 注释后报错 于是把Pytho ...
分类：
Windows程序 时间：
2017-06-26 19:05:23
阅读次数：
1860
