码迷,mamicode.com
首页 >  
搜索关键字:urllib2    ( 824个结果
爬虫原理与数据抓取----- Requests模块
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py ...
分类:其他好文   时间:2018-10-13 10:55:06    阅读次数:15
python(二) sanurllib2.URLError
1.URLErrorimporturllib2ifname==‘main‘:url=‘http://www.567.com‘req=urllib2.Request(url)try:response=urllib2.urlopen(req)#printresponsehtml=response.read().decode(‘utf-8‘)printhtmlexcepturllib2.
分类:编程语言   时间:2018-10-12 19:28:43    阅读次数:15
[微博爬虫] 登录+爬取+mysql存储+echart可视化
登录 目前新浪微博登录修改登录加密方法,使用rsa进行加密。 以下为个人实现登录的过程,不过得到cookie出现了问题,使用urllib2可以有效抓取 但是httplib2对cookie操作很恶心需要自己处理 终于搞定了用httplib2抓取新浪微博,不知道其他微博是否适用,,, 下面就是登录的介绍 ...
分类:数据库   时间:2018-10-06 22:34:23    阅读次数:18
网络爬虫小结
Python中可以用来爬取网络数据的库有很多,常见的有:urllib、urllib2、urllib3、requests、scrapy、selenium等。 基本上可以分为3类: 第一类:urllib、urllib2、urllib3、requests; 第二类:scrapy; 第三类:selenium ...
分类:其他好文   时间:2018-10-04 10:39:37    阅读次数:17
python里urllib2库的使用
如何使用以及常见方法补充 data = urllib2.urlopen(url).read().decode("gbk", "ignore").encode("utf8", "ignore") 获取远程 url的数据,创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程 ...
分类:编程语言   时间:2018-09-30 14:43:44    阅读次数:13
Python网络请求urllib和urllib3详解
Python网络请求urllib和urllib3详解 urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib。 而urllib3则是增加了连接池等功能,两者互相都有补充的部分。 urllib urllib作 ...
分类:编程语言   时间:2018-09-22 14:36:38    阅读次数:18
python利用百度map webapi获得经纬度
1 # -*- coding: utf-8 -*- 2 import urllib 3 import urllib2 4 import json 5 6 def getloca(loca): 7 url='http://api.map.baidu.com/geocoder/v2/?address=' ...
分类:编程语言   时间:2018-09-19 13:51:36    阅读次数:29
Python3中urllib使用与源代码
Py2.x:Urllib库Urllin2库Py3.x:Urllib库变化:在Pytho2.x中使用import urllib2——-对应的,在Python3.x中会使用import urllib.request,urllib.error。在Pytho2.x中使用import urllib——-对应的... ...
分类:编程语言   时间:2018-09-08 15:27:42    阅读次数:42
python批量下载照片
#!/usr/bin/python#_*_coding:utf-8_*_‘‘‘Createdon2018年8月22日@author:liuyhs‘‘‘#导入包importurllibimporturllib2importreimportos#获取网站地址req=urllib2.Request(‘https://image.baidu.com/search/index?tn=baiduimage&a
分类:编程语言   时间:2018-08-23 12:03:48    阅读次数:38
python批量下载文件
#!/usr/bin/python#_*_coding:utf-8_*_‘‘‘Createdon2018年8月22日‘‘‘importurllibimporturllib2importrereq=urllib2.Request(‘http://repo.zabbix.com/zabbix/3.5/rhel/7/x86_64/‘)#req=urllib2.Request(‘http://www.cv
分类:编程语言   时间:2018-08-23 00:27:42    阅读次数:53
824条   1 2 3 4 ... 83 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!