# python 3.7 from urllib.request import Request,urlopen import time,re,csv class Maoyan(object): def __init__(self): self.header = { 'Connection': 'ke... ...
分类:
其他好文 时间:
2018-11-23 18:38:08
阅读次数:
189
# python 3.7 from urllib.request import Request,urlopen import re,time class Neihan(object): def __init__(self): self.header={ 'Host': 'www.neihan8.co... ...
分类:
其他好文 时间:
2018-11-23 12:37:21
阅读次数:
375
import urllib.request response = urllib.request.urlopen("http://www.python.org") print(response.status) #获取响应码 print(response.getheaders()) #获取响应头信息 p... ...
分类:
编程语言 时间:
2018-11-22 00:10:42
阅读次数:
213
今天发现平时每小时报表内容少了好几个table,感觉好奇怪,这个代码很稳定跑了好长时间了,不知道哪里出来问题,幸亏代码做了异常处理。否则我估计邮件都会发不出来了,看了下日志文件,有报错日志记录如下:`page=urllib2.urlopen(url,timeout=300)File"/usr/local/lib/python2.7/urllib2.py",line154,inu
分类:
编程语言 时间:
2018-11-20 19:37:12
阅读次数:
203
from urllib.request import urlopen import re """ 爬虫,爬一个豆瓣网,把爬出来的存储到一个文件 """ def get_request(url): """ 把网址变为源码,因为计算机只能读懂源码,然后吧源码变为utf-8的格式 :param url: ... ...
分类:
其他好文 时间:
2018-11-19 13:33:23
阅读次数:
156
Web Scraping爬虫 for Mac urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)> Solution: if 1) ...
分类:
编程语言 时间:
2018-11-16 13:17:48
阅读次数:
230
在上一篇文章中,我们大概讲了一下urllib库中最重要的两个请求方法:urlopen() 和 Request() 但是仅仅凭借那两个方法无法执行一些更高级的请求,如Cookies处理,代理设置等等。 这是就是Handler大显神威的时候了,简单地说,他是各种处理器,有处理验证登录的,有处理Cooki ...
分类:
编程语言 时间:
2018-11-12 17:35:48
阅读次数:
229
周末在宿舍学习python,女朋友那突然下了倾盆大雨,在图书馆门口跟我抱怨好久。最近又在学习python,就想给女朋友写个小程序,每天早上将每天的天气预报通过微信发个她。 在本程序中,用到了几个重要的模块,操作微信的wxpy模块,直接打开网页内容的urlopen,以及搜索html文件的Beautif ...
分类:
微信 时间:
2018-11-11 23:20:38
阅读次数:
486
from urllib import request from bs4 import BeautifulSoup as bs #爬取豆瓣最受关注图书榜 resp = request.urlopen('https://book.douban.com/chart?subcat=I') html_data... ...
分类:
其他好文 时间:
2018-11-10 20:10:53
阅读次数:
180
from urllib import request from bs4 import BeautifulSoup as bs #爬取豆瓣最受关注图书榜 resp = request.urlopen('https://book.douban.com/chart?subcat=I') html_data... ...
分类:
其他好文 时间:
2018-11-10 20:08:52
阅读次数:
274