初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。 Windows 平台： 我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。 ...
分类：
编程语言 时间：
2018-01-17 10:11:18
阅读次数：
143
阅读目录 一 介绍 二 基于GET请求 三 基于POST请求 四 响应Response 五 高级用法 一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页 ...
分类：
其他好文 时间：
2018-01-17 01:14:23
阅读次数：
268
python2爬虫：从网页上采取数据爬虫模块：urllib,urllib2,re,bs4,requests,scrapy,xlml1.urllib2.request3.bs44.正则re5种数据类型(1)数字Number(2)字符串String(3)列表List[]中文在可迭代对象就是unicode对象(4)元组Tuple()(5)字典Set{}爬虫思路：1.静态urlopen打开网页------
分类：
编程语言 时间：
2018-01-17 00:46:40
阅读次数：
200
一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request 1 from urllib.parse import urlencode 2 import requests 3 4 headers={ 5 'Accept':'text/html,application/xhtml+xml,a ...
分类：
其他好文 时间：
2018-01-17 00:45:37
阅读次数：
187
#!/usr/bin/evnpython--coding:cp936--importre#导入正则表达式模块importurllib#导入urllib模块，读取页面与下载页面需要用到defgetHtml(url):#定义getHtml()函数，用来获取页面源代码page=urllib.urlopen(url)#urlopen()根据url来获取页面源代码html=page.read()#从获取的对
分类：
编程语言 时间：
2018-01-17 00:42:06
阅读次数：
169
1.1介绍通过过滤和分析HTML代码，实现对文件、图片等资源的获取，一般用到：urllib和urllib2模块正则表达式（re模块）requests模块Scrapy框架urllib库：1）获取web页面2）在远程http服务器上验证3）表单提交（GET和POST）4）异常处理（urllib2.URLError）5）非http协议通信（ftp）获取页面信息：urllib2.urlopen(url,d
分类：
编程语言 时间：
2018-01-17 00:37:36
阅读次数：
223
FeedDemon内容采集BOT/0.1(BOTforJCE)sql注入CrawlDaddysql注入Java内容采集Jullo内容采集Feedly内容采集UniversalFeedParser内容采集Python-urllib内容采集ZmEuphpmyadmin漏洞扫描WinHttp采集cc攻击HttpClienttcp攻击MicrosoftURLControl扫描YYSpider无用爬虫jau
分类：
其他好文 时间：
2018-01-17 00:27:51
阅读次数：
172
Requests模块 1.headers关键字 import requests from urllib.parse import urlencode keyword = input('>>:').strip() res = urlencode({'wd': keyword}, encoding='u ...
分类：
其他好文 时间：
2018-01-16 18:09:00
阅读次数：
172
阅读目录 一 介绍 二 基于GET请求 三 基于POST请求 四 响应Response 五 高级用法 一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页 ...
分类：
其他好文 时间：
2018-01-15 22:37:08
阅读次数：
239
Using mac os python3.6 to connect ssl will occur urllib.error.URLError. It requires a post-install step, which installs the certifi package of certifi ...
分类：
编程语言 时间：
2018-01-15 00:16:41
阅读次数：
296
