让python的pip使用 国内镜像 国内源： 清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn ...
分类：
其他好文 时间：
2018-06-14 20:40:06
阅读次数：
150
最近在学习Python，自然接触到了爬虫，写了一个小型爬虫软件，从初始Url解析网页，使用正则获取待爬取链接，使用beautifulsoup解析获取文本，使用自己写的输出器可以将文本输出保存，具体代码如下： Spider_main.py url_manager.py html_parser.py h ...
分类：
编程语言 时间：
2018-06-13 00:19:03
阅读次数：
161
（1）、简介 在糗事百科爬虫中我们的爬虫是继承scrapy.Spider类的，这也是基本的scrapy框架爬虫，在这个爬虫中我们自己在解析完整个页面后再获取下一页的url,然后重新发送了一个请求，而使用CrawlsSpider类可以帮助我们对url提出条件，只要满足这个条件，都进行爬取，CrawlS ...
分类：
其他好文 时间：
2018-06-12 14:45:06
阅读次数：
157
一、Nginx防盗链 配置如下，可以和上面的配置结合起来 location ~* ^.+\.(gif|jpg|png|swf|flv|rar|zip|doc|pdf|gz|bz2|jpeg|bmp|xls)$ { expires 7d; valid_referers none blocked ser ...
分类：
Web程序 时间：
2018-06-11 20:36:23
阅读次数：
215
引用自：http://baijiahao.baidu.com/s?id=1582812185263227836&wfr=spider&for=pc 一、多参数选择 pipeline{ agent { label '192.168.0.156' } parameters{ choice(name:'t ...
分类：
其他好文 时间：
2018-06-11 11:56:54
阅读次数：
1042
#导入settings文件中的配置from scrapy.utils.project import get_project_settingsclass MyMySqlPipeline(object): def open_spider(self, spider): # 连接数据库，需要在setting... ...
分类：
数据库 时间：
2018-06-09 13:17:41
阅读次数：
165
# -*- coding: utf-8 -*-import scrapyimport urllib.request # https://accounts.douban.com/login class DoubanSpider(scrapy.Spider): name = 'douban' allow ...
分类：
其他好文 时间：
2018-06-09 13:14:17
阅读次数：
160
参考阅读：https://www.oschina.net/translate/django-querysets 参考阅读：http://baijiahao.baidu.com/s?id=1586363345585914420&wfr=spider&for=pc 参考阅读：https://code.z ...
分类：
其他好文 时间：
2018-06-07 19:33:24
阅读次数：
139
http://baijiahao.baidu.com/s?id=1592208940535931839&wfr=spider&for=pc 2017年已经过去，农历的新年也即将到来。 是时候盘点一下2017年JS的优秀的项目，也为前端继续快速发展的2018年做一些准备。 以下是通过github上的s ...
分类：
Web程序 时间：
2018-06-07 19:29:42
阅读次数：
228
安装： pip install scrapy 安装可能会出现问题，此时需要下载一个依赖包 在 这个网站： https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载对应版本，，注意，，python3.6 adm64位对应 pip install 文件 ...
分类：
其他好文 时间：
2018-06-06 21:42:48
阅读次数：
158
