场景模拟 假设我们数据库中已经有了JD的SKU信息，没有SKU对应的店铺信息。这时我们需要重新完全采集所有的SKU数据吗？如果SKU是按月份分表存的看趋势，补爬的话历史数据就用不了了。因此，去京东页面上找看是否有提供相关的接口。 查找API请求接口 1. 安装 Fiddler, 并打开 2. 在谷歌 ...
分类：
Web程序 时间：
2016-08-03 09:02:19
阅读次数：
542
学习python爬虫框架scrapy的时候，用到pip管理工具来安装scrapy。最直观的感受，pip有点类似于Ubuntu下的apt-get工具，几行代码，自动下载、安装相关的东西。网上查了一些背景资料。 python的使用过程中经常引入其他包来实现功能，而pip就是一个管理这些包的工具。当前比较 ...
分类：
编程语言 时间：
2016-07-13 22:47:18
阅读次数：
135
想学习爬虫，又想了解python语言，有个python高手推荐我看看scrapy。 scrapy是一个python爬虫框架，据说很灵活，网上介绍该框架的信息很多，此处不再赘述。专心记录我自己遇到的问题以及解决方案吧。 给几个链接吧，我是根据这几个东西来尝试学习的： scrapy中文文档（0.24版， ...
分类：
编程语言 时间：
2016-07-13 20:34:38
阅读次数：
176
一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细 ...
分类：
编程语言 时间：
2016-07-11 21:21:28
阅读次数：
165
官方有详细的使用文档：http://webmagic.io/docs/zh/ 简介：这只是个java爬虫框架，具体使用需要个人去定制，没有图片验证，不能获取js渲染的网页，但简单易用，可以通过xpath和css选择符获取网页内容，官方也有超详细的文档，适合爬取简单的网页和新手学习爬虫。图片验证和js ...
分类：
Web程序 时间：
2016-07-09 22:08:35
阅读次数：
183
1，引言最近一直在看Scrapy爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载j..
分类：
编程语言 时间：
2016-07-07 14:36:43
阅读次数：
598
最近一直在看Scrapy 爬虫框架，并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题，希望大家多多指教。 ...
分类：
编程语言 时间：
2016-07-06 13:09:02
阅读次数：
206
近期研究业界安卓APP主要漏洞类型。wooyun算是国内最有名的漏洞报告平台，总结一下这上面的漏洞数据对后面测试与分析漏洞趋势有指导意义，因此写一个爬虫。 不再造轮子了，使用Python的Scrapy框架实现之。 一、安装 64位系统安装时，一定要注意Python的位数与Scrapy及其依赖库位数一 ...
分类：
编程语言 时间：
2016-06-27 19:50:11
阅读次数：
229
pyspider 是一个非常不错的爬虫框架，在ubuntu上安装时报错误： 很明显pycurl的问题，pycurl没安装成功 pycurl 安装错误解决办法： sudo apt-get install libssl-dev libcurl4-openssl-dev python-dev 重新运行出现 ...
分类：
系统相关 时间：
2016-06-24 18:59:53
阅读次数：
281
