码迷,mamicode.com
首页 >  
搜索关键字:urlopen    ( 699个结果
Python之线程与进程
1.程序 程序指的是指令的集合;程序不能单独的运行,必须将程序装载在内存中,系统给它分配资源才可以运行。 程序是进程动态运行的静态描述文本 2.进程 进程指的是程序在数据集中一次动态运行的过程; 3.线程 线程进程的最小执行单位,真正在CPU运行的是线程 4.进程与线程的关系 一个线程只能在一个进程 ...
分类:编程语言   时间:2017-08-24 01:03:21    阅读次数:269
Python3之网络爬虫<0>初级
由于Python3合并URLib与URLlib2统一为URLlib,Python3将urlopen方法放在了urllib.request对象下。 官方文档:https://docs.python.org/3/library/urllib.request.html#module-urllib.requ ...
分类:编程语言   时间:2017-08-23 23:08:55    阅读次数:283
Python 爬虫 2 (转)
一,获取整个页面数据 首先我们可以先获取要下载图片的整个页面信息。 getjpg.py Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据。首先,我们定义了一个getHtml()函数: urllib.urlopen()方法用于打开一个URL地址。 ...
分类:编程语言   时间:2017-08-22 00:31:35    阅读次数:195
python 模块 chardet下载及介绍
在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常优秀的编码识别模块。 chardet 是python的第三方库,需要下载和安装。下载的地址有: 1.推荐地址: ht ...
分类:编程语言   时间:2017-08-21 09:45:36    阅读次数:218
HTTPS请求 SSL证书验证
运行结果: urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)> 所以,如果以后遇到这种网站,我们需要单独处理SSL证书,让程序忽略SSL证书 ...
分类:Web程序   时间:2017-08-21 00:23:23    阅读次数:223
请求网页几个常用库的用法:
1、urllib urlopen()方法 urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。 参数url表示远程数据的路径,一般是网址; 参数data表示以post方式提交到url的 ...
分类:Web程序   时间:2017-08-20 20:06:39    阅读次数:247
Python爬虫入门
一. 首先我们调用的是request模块里面的urlopen方法,传入一个URL,这个网址是豆瓣首页,协议是HTTP协议,当然你也可以把HTTP换做FTP,FILE,HTTPS 等等,只是代表了一种访问控制协议,urlopen一般接受三个参数,它的参数如下: urlopen(url, data, t ...
分类:编程语言   时间:2017-08-20 18:24:19    阅读次数:227
Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
python3 抓取网页资源的 N 种方法 python3 抓取网页资源的 N 种方法 1、最简单 import urllib.requestresponse = urllib.request.urlopen('http://python.org/')html = response.read() 2 ...
分类:编程语言   时间:2017-08-19 14:14:40    阅读次数:249
用python语言编写网络爬虫
本文主要用到python3自带的urllib模块编写轻量级的简单爬虫。至于怎么定位一个网页中具体元素的url可自行百度火狐浏览器的firebug插件或者谷歌浏览器的自带方法。 1、访问一个网址 re=urllib.request.urlopen('网址‘) 打开的也可以是个urllib.reques ...
分类:编程语言   时间:2017-08-11 20:29:14    阅读次数:162
python 爬虫之为什么使用opener对象以及为什么要创建全局默认的opener对象
基本的urlopen()函数不支持验证、cookie或其他HTTP高级功能。要支持这些功能,必须使用build_opener()函数来创建自己的自定义Opener对象。 install_opener(opener) 安装opener作为urlopen()使用的全局URL opener,即意味着以后调 ...
分类:编程语言   时间:2017-08-10 23:43:08    阅读次数:312
699条   上一页 1 ... 34 35 36 37 38 ... 70 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!