demo 01: #!/usr/bin/python #encoding:utf-8 import urllib import os def Schedule(a,b,c): ''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0*a*b/c if per ...
分类:
其他好文 时间:
2019-01-16 19:13:43
阅读次数:
213
#encoding = utf-8 import urllib2import urllib url = 'http://httpbin.org/post'data={"name":"tom","age":22}data=urllib.urlencode(data) req=urllib2.Reque ...
分类:
Web程序 时间:
2019-01-15 22:56:22
阅读次数:
250
项目说明: Python版本:3.7.2 模块:urllib.request,re,os,ssl 目标地址:http://小草.com/ 第二个爬虫项目,设备转移到了Mac上,Mac上的Pycharm有坑, 环境变量必须要配置好,解释器要选对,不然模块加载不出来 项目实现: 小草图片下载时后有ssl ...
分类:
编程语言 时间:
2019-01-15 22:33:19
阅读次数:
417
原作者及原文链接: https://blog.csdn.net/c406495762/article/details/59095864 运行平台:Windows Python版本:Python3.x IDE:Sublime text3 上一篇内容,已经学会了使用简单的语句对网页进行抓取。接下来,详细 ...
分类:
编程语言 时间:
2019-01-15 21:32:42
阅读次数:
259
原作者及原文链接: https://blog.csdn.net/c406495762/article/details/59488464 运行平台:Windows Python版本:Python3.x IDE:Sublime text3 一.urllib.error urllib.error可以接收有 ...
分类:
编程语言 时间:
2019-01-15 21:31:16
阅读次数:
268
1.背景 urllib,urllib2是客户端http协议的实现,urllib2底层使用httplib,socket库,它主要包含urlopen, build_opener, install_opener等func。python2.7使用urllib2库中的urlopen会出现内存泄漏的现象,可以通 ...
分类:
Web程序 时间:
2019-01-13 22:22:41
阅读次数:
317
1、urllib和urllib2的区别: 1、获取baidu的网页源代码 urllib是python内置的http请求库。 urllib.request:请求模块。 ...
分类:
编程语言 时间:
2019-01-12 18:31:11
阅读次数:
169
import re import urllib.request def getHtml(url): page=urllib.request.urlopen(url) html=page.read() return html def getImg(html): reg = r'src="([.*\S]... ...
分类:
其他好文 时间:
2019-01-12 00:16:51
阅读次数:
491
# -*- coding: utf-8 -*- import scrapy import json import os import urllib import time from scrapy.http import Request from selenium import webdriver f... ...
分类:
其他好文 时间:
2019-01-11 18:03:01
阅读次数:
704
又是一年,马上就要回家过年了,还没有买到票的小伙伴们是否已经像热锅上的蚂蚁了无脑的开始找黄牛了?俗话说的好,求人不如求自己,抢票这玩意,其实我觉得我也可以~来来来,直接入正题吧!这里有两种方案,一种是基于Selenium2的自动化框架控制浏览器实现,另一种方案则是基于Python自身的爬虫package如request,urllib等来实现,本文实现第一种方案,第二种方案也在摸索中。实现过程一、新
分类:
编程语言 时间:
2019-01-11 11:28:49
阅读次数:
443