往往需要爬取的网页是呈一个树状结构。比如，需要先爬取一个目录，然后再在目录中选择具体的爬取目标。而目录和具体目标之间，网页结构不同，使得我们不能使用相同的爬取策略。 从之前的经验来看，我们对scrapy进行操作是从Spider的Parse()函数作为入口。不如在parse()函数中对对目录进行操作， ...
分类：
编程语言 时间：
2016-07-21 23:45:26
阅读次数：
314
1:创建表 2：构建测试数据 在/home/cphmvp下vim文件 aaas.com 内容如下 两列以\t分割 构建初始导入 3： 查询 select * from tbl_spider where site='aaaa.com'; 数据上传备份方案1： load方式 2：put方式 2.1 判断 ...
分类：
其他好文 时间：
2016-07-21 21:54:18
阅读次数：
140
一、安装font-spider npm install font-spider -g 二、目录结构 font-spider font FZZZHONGHJW.ttf font.html 三、font.html内容 四、从字体文件中把页面字体抓取，生成字体文件，执行命令： font-spider fo ...
分类：
其他好文 时间：
2016-07-21 18:00:43
阅读次数：
122
wget -O /etc/yum.repos.d/CentOS-Base.repo --spider: 爬虫，检查网站是不是好的 -T: 指定超时时间 --tries=2 指定重试的次数 -q 关闭输出 ps查看进程 locate搜索 export定义环境变量 netstat查看网络信息 ifcon ...
分类：
其他好文 时间：
2016-07-11 12:24:40
阅读次数：
144
爬虫保存数据库的样子:详细数据在json_text字段里面安装使用方法：gitclonehttps://github.com/shancang/spider.git
pipinstall-rrequirements.txt
mysqlspider<sql/createTable.sql修改配置spider/config.py#-*-coding:utf-8
#日志---------------------------------------..
分类：
编程语言 时间：
2016-07-08 20:11:43
阅读次数：
335
1，引言《Scrapy的架构初探》一文所讲的Spider是整个架构中最定制化的一个部件，Spider负责把网页内容提取出来，而不同数据采集目标的内容结构不一样，几乎需要为每一类网页都做定制。我们有个设想：是否能做一个比较通用的Spider，把定制部分再进一步隔离出去？GooSeeker有一..
分类：
其他好文 时间：
2016-07-06 10:29:00
阅读次数：
332
help:scrapy的基本命令，用于查看帮助信息 version：查看版本信息，可见-V参数查看各组件的版本信息； startproject用于新建一个工程 genspider:在工程中产生一个spider，可产生多个spider，不同的spider要求name不同。 list：此工程中都有哪些s ...
分类：
其他好文 时间：
2016-07-05 10:17:29
阅读次数：
141
题目来源：http://www.lintcode.com/zh-cn/problem/balanced-binary-tree/ C++版 VS2012测试通过： Python2.7版 spider测试通过： ...
分类：
其他好文 时间：
2016-07-03 00:20:44
阅读次数：
157
题目来源：http://www.lintcode.com/zh-cn/problem/insert-node-in-a-binary-search-tree/ C++版 VS2012测试通过： Python2.7版 spider测试通过： ...
分类：
其他好文 时间：
2016-07-01 01:09:50
阅读次数：
154
题目来源：http://www.lintcode.com/zh-cn/problem/single-number/ 方法： 异或满足交换律，任意两个相同的数可以异或是0。0和任何数异或的结果是该数，那么最后的结果一定是落单的数字。 C++版 VS2012测试通过： Python2.7版 spider ...
分类：
其他好文 时间：
2016-06-28 21:47:36
阅读次数：
153
