# coding:utf-8 import urllib import urllib2 url = "http://wwww.baidu.com/s" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW... ...
分类:
其他好文 时间:
2018-01-19 19:56:22
阅读次数:
144
#coding=utf-8 from bs4 import BeautifulSoup import urllib.request import re def validateTitle(title): rstr = r"[\/\\\:\*\?\"\\|]" # '/ \ : * ? " |' ne... ...
分类:
其他好文 时间:
2018-01-19 18:50:00
阅读次数:
153
请求库,即可以模仿浏览器对网站发起请求的模块(库)。 requests模块 使用requests可以模拟浏览器的请求,requests模块的本质是封装了urllib3模块的功能,比起之前用到的urllib,requests模块的api更加便捷 requests库发送请求将网页内容下载下来以后,并不会 ...
分类:
其他好文 时间:
2018-01-19 17:52:24
阅读次数:
231
from urllib.parse import quote,unquote #字节码 #%E6%88%90%E9%83%BD #quote 字符串-字节码 编码 #unquote 字节码-字符串 解码 s='成都' s1=quote(s,encoding='utf8') print(s1) s4=... ...
分类:
其他好文 时间:
2018-01-18 23:10:54
阅读次数:
180
from time import time,sleep now1=time() #import urllib.request #urllib.request.urlretrieve() #from urllib import request #request.urlretrieve() def ab... ...
分类:
其他好文 时间:
2018-01-18 22:10:19
阅读次数:
178
#open() #urlopen() #方法名称不同 #参数不同 #只能以只读模式打开网络资源文件 from urllib.request import urlopen from urllib.parse import quote from json import loads from time i... ...
分类:
其他好文 时间:
2018-01-18 22:09:08
阅读次数:
208
爬取需求分析 import requests import re from urllib.parse import urlencode session = requests.session() r1 = session.get( "https://passport.lagou.com/login/l ...
分类:
其他好文 时间:
2018-01-18 17:13:00
阅读次数:
245
1 import urllib.request # 连接网络 2 import urllib.parse # 爬虫传参数 3 import json # json解析结果 4 import re # 正则表达式 5 import math # 生成随机数 6 7 url = '' # 爬虫入口链接 ... ...
分类:
编程语言 时间:
2018-01-18 15:03:16
阅读次数:
134
一、流程分析 二、代码实现 import requests import re from urllib.parse import urlencode session = requests.session() r1 = session.get( "https://passport.lagou.com/ ...
分类:
其他好文 时间:
2018-01-17 23:31:44
阅读次数:
334
# encoding:utf-8 import urllib import os def Schedule(a,b,c): ''''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0 * a * b / c if per > 100 : per = 100... ...
分类:
编程语言 时间:
2018-01-17 23:26:51
阅读次数:
206