码迷,mamicode.com
首页 >  
搜索关键字:urlopen    ( 699个结果
猫眼 top_100 爬取 ___只完成了第一页
# python 3.7 from urllib.request import Request,urlopen import time,re,csv class Maoyan(object): def __init__(self): self.header = { 'Connection': 'ke... ...
分类:其他好文   时间:2018-11-23 18:38:08    阅读次数:189
内涵段子——脑筋急转弯——spider
# python 3.7 from urllib.request import Request,urlopen import re,time class Neihan(object): def __init__(self): self.header={ 'Host': 'www.neihan8.co... ...
分类:其他好文   时间:2018-11-23 12:37:21    阅读次数:375
Python:Urllib库使用
import urllib.request response = urllib.request.urlopen("http://www.python.org") print(response.status) #获取响应码 print(response.getheaders()) #获取响应头信息 p... ...
分类:编程语言   时间:2018-11-22 00:10:42    阅读次数:213
python2.7 urllib2访问https 网站出错
今天发现平时每小时报表内容少了好几个table,感觉好奇怪,这个代码很稳定跑了好长时间了,不知道哪里出来问题,幸亏代码做了异常处理。否则我估计邮件都会发不出来了,看了下日志文件,有报错日志记录如下:`page=urllib2.urlopen(url,timeout=300)File"/usr/local/lib/python2.7/urllib2.py",line154,inu
分类:编程语言   时间:2018-11-20 19:37:12    阅读次数:203
使用正则做的一个爬虫小例子
from urllib.request import urlopen import re """ 爬虫,爬一个豆瓣网,把爬出来的存储到一个文件 """ def get_request(url): """ 把网址变为源码,因为计算机只能读懂源码,然后吧源码变为utf-8的格式 :param url: ... ...
分类:其他好文   时间:2018-11-19 13:33:23    阅读次数:156
[Python] Frequently used method or solutions for issues
Web Scraping爬虫 for Mac urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)> Solution: if 1) ...
分类:编程语言   时间:2018-11-16 13:17:48    阅读次数:230
python3爬虫之Urllib库(二)
在上一篇文章中,我们大概讲了一下urllib库中最重要的两个请求方法:urlopen() 和 Request() 但是仅仅凭借那两个方法无法执行一些更高级的请求,如Cookies处理,代理设置等等。 这是就是Handler大显神威的时候了,简单地说,他是各种处理器,有处理验证登录的,有处理Cooki ...
分类:编程语言   时间:2018-11-12 17:35:48    阅读次数:229
python-给微信好友自动发送天气预报和每日一句
周末在宿舍学习python,女朋友那突然下了倾盆大雨,在图书馆门口跟我抱怨好久。最近又在学习python,就想给女朋友写个小程序,每天早上将每天的天气预报通过微信发个她。 在本程序中,用到了几个重要的模块,操作微信的wxpy模块,直接打开网页内容的urlopen,以及搜索html文件的Beautif ...
分类:微信   时间:2018-11-11 23:20:38    阅读次数:486
爬虫之爬取豆瓣图书的评论
from urllib import request from bs4 import BeautifulSoup as bs #爬取豆瓣最受关注图书榜 resp = request.urlopen('https://book.douban.com/chart?subcat=I') html_data... ...
分类:其他好文   时间:2018-11-10 20:10:53    阅读次数:180
爬虫之爬取豆瓣图书名字及ID
from urllib import request from bs4 import BeautifulSoup as bs #爬取豆瓣最受关注图书榜 resp = request.urlopen('https://book.douban.com/chart?subcat=I') html_data... ...
分类:其他好文   时间:2018-11-10 20:08:52    阅读次数:274
699条   上一页 1 ... 12 13 14 15 16 ... 70 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!