``` """ this is a module,多行注释 """ import re from urllib import request # BeautifulSoup:解析数据结构 推荐库 Scrapy:爬虫框架 #爬虫，反爬虫，反反爬虫 #ip 封 #代理ip库 class Spider()... ...
分类：
编程语言 时间：
2018-08-08 22:55:18
阅读次数：
384
虚拟环境安装好了之后，scrapy 框架安装好了以后： workon article_spider (项目名称) scrapy startproject Article Spider 工程目录 cd 到 工程目录 Scrapy genspider jobbole blog.jobbole.com 第 ...
分类：
其他好文 时间：
2018-08-06 20:12:47
阅读次数：
164
8.1.Crawl的用法实战 新建项目 wxapp_spider.py items.py pipelines.py settings.py start.py ...
分类：
其他好文 时间：
2018-08-05 14:31:55
阅读次数：
147
原网址：https://baijiahao.baidu.com/s?id=1591207020267646171&wfr=spider&for=pc [root@rac01~]# fdisk -l （查看分区情况） 磁盘 /dev/sda：107.4 GB, 107374182400字节，20971 ...
分类：
数据库 时间：
2018-08-02 22:53:35
阅读次数：
553
一. 功能说明 Downloader Middleware有三个核心的方法 process_request(request, spider) process_response(request, response, spider) process_exception(request, exceptio ...
分类：
其他好文 时间：
2018-08-02 12:17:07
阅读次数：
159
import urllib.request import urllib.parse import ssl ssl._create_default_https_context = ssl._create_unverified_context from lxml import etree def loa... ...
分类：
其他好文 时间：
2018-08-02 01:48:24
阅读次数：
138
import urllib.request import urllib.parse import json proxy_support = urllib.request.ProxyHandler({'http':'http://10.3.246.5:8500'}) opener = urllib.r... ...
分类：
编程语言 时间：
2018-08-01 16:00:26
阅读次数：
199
# -*- coding: utf-8 -*- def loadPage() """ 请求Queryparser页面结果 """ url = "" key = urllib.urlopen(question) # 构造url url = url + key + "" headers = {} req... ...
分类：
其他好文 时间：
2018-08-01 11:57:08
阅读次数：
160
１．配置信息 3.spider ４．中间件 ５．管道（存储到mongo中） ...
分类：
其他好文 时间：
2018-07-30 01:08:51
阅读次数：
297
参数说明-T：超时时间-t：超时重试次数其余参数：http://man.linuxde.net/wget[root@db02scripts]#wgetT10--spider-t2blog.51cto.comSpidermodeenabled.Checkifremotefileexists.--2018-07-2621:15:07--http://t/Resolvingt...failed:Name
分类：
其他好文 时间：
2018-07-26 22:06:53
阅读次数：
285
