通过scrapy的Request和parse，我们能很容易的爬取所有列表页的文章信息。 PS:parse.urljoin（response.url，post_url）的方法有个好处,如果post_url是完整的域名，则不会拼接response.url的主域名，如果不是完整的，则会进行拼接 Items ...
分类：
其他好文 时间：
2017-10-03 13:11:34
阅读次数：
394
实际上安装scrapy框架时，需要安装很多依赖包，因此建议用pip安装，这里我就直接使用pycharm的安装功能直接搜索scrapy安装好了。 然后进入虚拟环境创建一个scrapy工程： 我用pycharm进入创建好的scrapy项目，这个目录结构比较简单，而且有些地方很像Django Spider ...
分类：
其他好文 时间：
2017-10-03 13:09:21
阅读次数：
253
package com.jinzhi.spider; import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.MalformedURLExcep ...
分类：
其他好文 时间：
2017-10-01 20:32:33
阅读次数：
201
使用python虚拟环境作用是项目与项目之间相互隔离，互相不受影响，比如当需要同时部署A、B两个项目时，A项目依赖C库的1.0版本，B项目依赖C库的2.0版本，假如不使用虚拟环境隔离A项目和B项目就很可能依赖混淆导致错误。 1、安装virtualenv pip install virtualenv ...
分类：
编程语言 时间：
2017-09-23 17:25:27
阅读次数：
179
原文: 为什么要增加随机请求头：更好地伪装浏览器，防止被 Ban。 如何在每次请求时，更换不同的 user_agent，Scrapy 使用 Middleware 即可 Spider 中间件 (Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，可以添加代 ...
分类：
其他好文 时间：
2017-09-23 13:45:27
阅读次数：
273
设计文档： 概要设计思路（https://github.com/Wooden-Robot/scrapy-tutorial）： 声明item：Items (爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy spider可以以python的dict来返回提取的数据.虽然dic ...
分类：
其他好文 时间：
2017-09-22 21:16:33
阅读次数：
125
团队成员： 张晓亮，邵文强，宁培强，潘新宇，邵翰庆，李国峰，张立新 概要设计思路（https://github.com/Wooden-Robot/scrapy-tutorial）： 声明item：Items(爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy spider可 ...
分类：
其他好文 时间：
2017-09-21 20:56:53
阅读次数：
192
1、SPIDERS的yeild将request发送给ENGIN2、ENGINE对request不做任何处理发送给SCHEDULER3、SCHEDULER( url调度器)，生成request交给ENGIN4、ENGINE拿到request，通过MIDDLEWARE进行层层过滤发送给DOWNLOADE ...
分类：
其他好文 时间：
2017-09-20 23:16:19
阅读次数：
190
使用 data-* 属性来嵌入自定义数据： <ul><li data-animal-type="bird">Owl</li><li data-animal-type="fish">Salmon</li> <li data-animal-type="spider">Tarantula</li> </u ...
分类：
Web程序 时间：
2017-09-19 23:00:46
阅读次数：
549
1.json文件中文解码： #!/usr/bin/python #coding=utf-8 #author=dahu import json with open('huxiu.json','r') as f: data=json.load(f) print data[0]['title'] for ...
分类：
其他好文 时间：
2017-09-15 22:32:47
阅读次数：
254
