之前使用 scrapy 抓取数据的时候 ，默认是在逻辑中判断是否执行下一次请求 比如： 今天无意查看了 scrapy 的官方文档，可以使用 start_requests() 这个方法循环生成要爬取的网址 使用 python 一定要简单粗暴，于是把我把之前代码换了如下方式 注意：要注意的是重写 sta ...
分类：
其他好文 时间：
2016-12-24 17:07:58
阅读次数：
292
新知识： 新建一个scrapy项目：scrapy startproject xxx(项目名称） 运行一个scrapy项目：scrapy crawl xxx（项目名称） 项目文件说明： 文件说明： ? scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫 ...
分类：
其他好文 时间：
2016-12-17 19:24:29
阅读次数：
120
在Python3.5下安装和测试Scrapy爬网站 1. 引言 Scrapy框架结构清晰，基于twisted的异步架构可以充分利用计算机资源，是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。 2. 安装Twisted 2.1 同安装Lxml库 (参考《为编写网络爬虫程序安装Python ...
分类：
其他好文 时间：
2016-12-05 07:44:01
阅读次数：
306
分布式缓存框架： Microsoft Velocity：微软自家分布式缓存服务框架。 Memcahed：一套分布式的高速缓存系统，目前被许多网站使用以提升网站的访问速度。 Redis：是一个高性能的KV数据库。 它的出现很大程度补偿了Memcached在某些方面的不足。 EnyimMemcached ...
分类：
Web程序 时间：
2016-11-23 16:36:43
阅读次数：
224
E - Bravebeart Time Limit:2000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64u Submit Status E - Bravebeart Submit Status Description standard i ...
分类：
其他好文 时间：
2016-10-28 02:27:55
阅读次数：
181
在脚本中运行 Scrapy 除了常用的 scrapy crawl 来启动 Scrapy，也可以使用 API 在脚本中启动 Scrapy。 需要注意的是，Scrapy 是在 Twisted 异步网络库上构建的，因此其必须在 Twisted reactor 里运行。 另外，在 spider 运行结束后， ...
分类：
其他好文 时间：
2016-09-23 11:13:35
阅读次数：
238
在运行别人的scrapy项目时，使用命令行 scrapy crawl douban（douban是该项目里爬虫的名字，烂大街的小项目 抓取豆瓣电影）。 执行之后，出现报错如下： 上网搜寻无果。 大多数是说路径不对，需要进入到项目工程的路径下，然而，我在项目的路径里。 听从建议使用了“scrapy”命 ...
分类：
其他好文 时间：
2016-09-19 11:26:49
阅读次数：
947
为了适应不同项目对不同感兴趣属性的解析存储，数据存储结构采用纵向的属性列表方式，即一个url页面多个属性存储多条记录方式，并且按照text，html，data，num几大典型类型分别对应存储。创建UTF-8字符集的nutch数据库，并执行表初始化脚本，参考DDL：CREATETABLE`crawl_data`(..
分类：
数据库 时间：
2016-08-02 22:24:44
阅读次数：
259
<?php
functiontotalCount()
{
$pdo=PDO_MySQL::getInstance();
$params=[‘where‘=>[‘id‘=>[‘>=‘=>672600],]];
$result=$pdo->count(‘Crawl_Receive_Task‘,$params);
$pdo=null;
return$result;
}
functionselectCountList()
{
$pdo=PDO_MySQL::getInstance(..
分类：
Web程序 时间：
2016-06-14 19:42:42
阅读次数：
223
