1 url分解 import urllib.parse 2 3 result = urllib.parse.urlparse('http://www.baidu.com') 4 print(result) 5 结果为：ParseResult(scheme='http', netloc='www.ba... ...
分类：
Web程序 时间：
2017-05-11 19:38:03
阅读次数：
191
1、爬取页面 http://www.quanshu.net/book/9/9055/ 2、用到模块urllib（网页下载),re正则匹配取得title及titleurl,urlparse(拼接完整url),MySQLdb(导入MySQL） 数据库 3、for 循环遍历列表 取得盗墓笔记章节title ...
分类：
数据库 时间：
2016-12-02 03:30:11
阅读次数：
281
来源：https://docs.python.org/3/library/urllib.parse.html?highlight=urlparse#urllib.parse.urlparse ...
分类：
编程语言 时间：
2016-11-11 20:36:45
阅读次数：
253
download 文件 1 #!/usr/bin/python 2 #_*_coding:utf-8 _*_ 3 import urlparse 4 import urllib2 5 import random 6 import time 7 from datetime import datetim ...
分类：
其他好文 时间：
2016-11-11 19:36:57
阅读次数：
280
如何把get请求的参数转成字典 (Map) 获取一个网站的get 请求需要的参数 结果是 result > ParseResult(scheme='https', netloc='www.baidu.com', path='/s', params='', query='wd=%E5%87%BB%E6 ...
分类：
编程语言 时间：
2016-09-10 16:17:12
阅读次数：
297
【URL Parsing】 urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True) Parse a URL into six components, returning a 6-tuple. This corresponds ...
分类：
Web程序 时间：
2016-08-13 15:32:41
阅读次数：
742
1、hashlibimporthashlibhash_new=hashlib.sha1()//调用hashlib里的sha1（）生成一个sha1hash对象hash_new.update(params_data)//通过update方法对字符串进行sha1加密的更新处理hash_value=hash_new.hexdigest()//十六进制的结果returnhash_value//返回结果2、urlparseurlparse..
分类：
Web程序 时间：
2016-06-17 17:40:49
阅读次数：
177
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 一、urllib简介 python3中的urllib模块相对于Python2做了很大的改变，原来的urllib、urllib2、urlparse和robo ...
分类：
编程语言 时间：
2016-06-16 01:29:16
阅读次数：
581
#!/usr/bin/env python # -*- coding: utf-8 -*- import sys import httplib import urlparse import string import threading import Queue import time import ...
分类：
其他好文 时间：
2016-05-08 13:18:18
阅读次数：
193
十九、WEB设计模块urlparse>>>urlparse.urlparse(‘http://www.baidu.com:8080/dcoc/123.php;aa=123?sdf#dff#dfr‘)(‘http‘,‘www.baidu.com:8080‘,‘/dcoc/123.php‘,‘aa=123‘,‘sdf‘,‘dff#dfr‘)urlunparse组装被分割的表列。urljoin是组装路径，如：>>>urlparse...
分类：
编程语言 时间：
2016-04-23 07:49:24
阅读次数：
269
