1.程序 程序指的是指令的集合;程序不能单独的运行,必须将程序装载在内存中,系统给它分配资源才可以运行。 程序是进程动态运行的静态描述文本 2.进程 进程指的是程序在数据集中一次动态运行的过程; 3.线程 线程进程的最小执行单位,真正在CPU运行的是线程 4.进程与线程的关系 一个线程只能在一个进程 ...
分类:
编程语言 时间:
2017-08-24 01:03:21
阅读次数:
269
由于Python3合并URLib与URLlib2统一为URLlib,Python3将urlopen方法放在了urllib.request对象下。 官方文档:https://docs.python.org/3/library/urllib.request.html#module-urllib.requ ...
分类:
编程语言 时间:
2017-08-23 23:08:55
阅读次数:
283
一,获取整个页面数据 首先我们可以先获取要下载图片的整个页面信息。 getjpg.py Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据。首先,我们定义了一个getHtml()函数: urllib.urlopen()方法用于打开一个URL地址。 ...
分类:
编程语言 时间:
2017-08-22 00:31:35
阅读次数:
195
在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常优秀的编码识别模块。 chardet 是python的第三方库,需要下载和安装。下载的地址有: 1.推荐地址: ht ...
分类:
编程语言 时间:
2017-08-21 09:45:36
阅读次数:
218
运行结果: urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)> 所以,如果以后遇到这种网站,我们需要单独处理SSL证书,让程序忽略SSL证书 ...
分类:
Web程序 时间:
2017-08-21 00:23:23
阅读次数:
223
1、urllib urlopen()方法 urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。 参数url表示远程数据的路径,一般是网址; 参数data表示以post方式提交到url的 ...
分类:
Web程序 时间:
2017-08-20 20:06:39
阅读次数:
247
一. 首先我们调用的是request模块里面的urlopen方法,传入一个URL,这个网址是豆瓣首页,协议是HTTP协议,当然你也可以把HTTP换做FTP,FILE,HTTPS 等等,只是代表了一种访问控制协议,urlopen一般接受三个参数,它的参数如下: urlopen(url, data, t ...
分类:
编程语言 时间:
2017-08-20 18:24:19
阅读次数:
227
python3 抓取网页资源的 N 种方法 python3 抓取网页资源的 N 种方法 1、最简单 import urllib.requestresponse = urllib.request.urlopen('http://python.org/')html = response.read() 2 ...
分类:
编程语言 时间:
2017-08-19 14:14:40
阅读次数:
249
本文主要用到python3自带的urllib模块编写轻量级的简单爬虫。至于怎么定位一个网页中具体元素的url可自行百度火狐浏览器的firebug插件或者谷歌浏览器的自带方法。 1、访问一个网址 re=urllib.request.urlopen('网址‘) 打开的也可以是个urllib.reques ...
分类:
编程语言 时间:
2017-08-11 20:29:14
阅读次数:
162
基本的urlopen()函数不支持验证、cookie或其他HTTP高级功能。要支持这些功能,必须使用build_opener()函数来创建自己的自定义Opener对象。 install_opener(opener) 安装opener作为urlopen()使用的全局URL opener,即意味着以后调 ...
分类:
编程语言 时间:
2017-08-10 23:43:08
阅读次数:
312