python访问网站可以用标准模块--urllib模块（这里省略），和requests（安装-pip install requests）模块，requests模块是在urllib的基础上进行的封装，比urllib模块功能更强到，易用 ...
分类：
编程语言 时间：
2018-02-10 21:22:56
阅读次数：
159
#coding=utf-8 import datetime import time import sys import os import urllib2 import urllib sx = '小说站网址' type = sys.getfilesystemencoding() user_agent... ...
分类：
编程语言 时间：
2018-02-10 11:25:39
阅读次数：
202
1.操作excel xlrd 读 xlwt 写 xlutils 修改2.网络编程 urllib url编码 requests模块 r = requests.get(url, data={'x': y}, headers={'x': y}, cookies={'x': y}) r = requests ...
分类：
编程语言 时间：
2018-02-09 20:52:57
阅读次数：
172
import urllib.parses = 'tiger自动化测试'print(urllib.parse.quote(s)) # url编码print(urllib.parse.quote_plus(s)) # url编码src = 'https://www.baidu.com/s?wd=best ...
分类：
编程语言 时间：
2018-02-09 17:35:41
阅读次数：
256
1.创建一个新项目： 2.在新项目中创建一个新的spider文件： mydomain为spider文件名，mydomain.com为爬取网站域名 3.全局命令： 4.只在项目中使用的命令（局部命令）： 5.运行spider文件： 6.检查spider文件有无语法错误： 7.列出spider路径下的s ...
分类：
其他好文 时间：
2018-02-08 15:30:16
阅读次数：
308
利用urllib的robotparser模块，我们可以实现网站Robots协议的分析。本节中，我们来简单了解一下该模块的用法。 1. Robots协议 Robots协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引 ...
分类：
Web程序 时间：
2018-02-08 11:05:28
阅读次数：
192
Package Control 插件管理器 1)在Sublime中打开View –> Show Console，将以下代码复制到输入框中后按回车键 import urllib.request,os;pf=’Package Control.sublime-package’;ipp=sublime.in ...
分类：
其他好文 时间：
2018-02-06 14:16:28
阅读次数：
195
import urllib.parses='besttest 自动化测试'print(urllib.parse.quote(s)) #url编码print(urllib.parse.quote_plus(s)) #url编码,src='https://www.baidu.com/s?wd=bestt ...
分类：
编程语言 时间：
2018-02-05 23:32:03
阅读次数：
207
import refrom urllib import requestclass Sprder: def __init__(self): self.page=1 self.switch=True def loadPage(self): """" 下载页面 """ url="http://www.ne ...
分类：
编程语言 时间：
2018-02-05 20:06:51
阅读次数：
186
