# -*- coding: utf-8 -*- import scrapy from scrapy import Request from urllib.parse import quote from ..items import ScrapyseleniumtestItem class Taoba... ...
分类:
其他好文 时间:
2018-05-15 21:14:54
阅读次数:
369
### 方法一:urllib 模块 ### from urllib import request python 自带模块(标准模块) (不推荐使用) url = 'http://www.baidu.com' req = request.urlopen(url) 打开一个 url print(req. ...
分类:
其他好文 时间:
2018-05-14 19:53:12
阅读次数:
145
sublime3 中文设置 按住 ctrl + ` 在弹出的对话空输入代码 import urllib.request,os,hashlib; h = '6f4c264a24d933ce70df5dedcf1dcaee' + 'ebe013ee18cced0ef93d5f746d80ef60'; p ...
分类:
编程语言 时间:
2018-05-12 18:26:55
阅读次数:
190
Requests模块 Python标准库中提供了:urllib、urllib2、httplib等模块以供Http请求,但是,它的 API 太渣了。 它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。 Requests 是使用 Apache2 Lice ...
分类:
编程语言 时间:
2018-05-11 23:44:26
阅读次数:
216
#!/usr/bin/python
#?coding:utf-8
import?os
import?json
import?socket
import?psutil
import?httplib
import?urllib
import?threading
class?Host:
分类:
编程语言 时间:
2018-05-11 20:09:46
阅读次数:
178
1 初级爬虫 (1)Web前端的知识:HTML, CSS, JavaScript, DOM, DHTML, Ajax, jQuery,json等; (2)正则表达式,能提取正常一般网页中想要的信息,比如某些特殊的文字,链接信息,知道什么是懒惰,什么是贪婪型的正则; (3)会使用re, Beautif ...
分类:
编程语言 时间:
2018-05-10 23:43:06
阅读次数:
194
1 import urllib.request 2 import urllib.parse 3 import urllib.error 4 import http.cookiejar 5 import argparse 6 7 # url='http://172.20.10.8/bug/cookie... ...
分类:
其他好文 时间:
2018-05-10 20:52:15
阅读次数:
206
爬虫的步骤:将要爬取的目标用户想读的图书的首页的url存储在元组中。通过urllib.request方法构造一个发送请求,在通过urllib.urlopen方法发出请求并取得响应(response)。通过response.read得到页面html,然后在通过beautifulsoup将html解析成 ...
分类:
其他好文 时间:
2018-05-10 17:32:26
阅读次数:
171
#!/usr/bin/env python # encoding: utf-8 from urllib.parse import * #urlparse:解析url分段 #urlsplit:类似urlparse,不再单独解析params部分 #urlunsplit:后面必须1个列表,里面5个参数 #... ...
分类:
Web程序 时间:
2018-05-10 14:24:42
阅读次数:
176
上面只是为了做一个 列表 元组转字典的练习,下面才是开始 ...
分类:
编程语言 时间:
2018-05-10 11:24:35
阅读次数:
340