scrapy，python开发的一个快速，高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。scrapy的安装稍显麻烦，不过按照以下步骤去进行，相信你也能很轻松的安装使用scrapy。安装python2.7scr...
分类：
其他好文 时间：
2015-10-30 18:52:22
阅读次数：
438
前面小试了一下scrapy抓取博客园的博客（您可在此查看scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据），但是前面抓取的数据时保存为json格式的文本文件中的。这很显然不满足我们日常的实际应用，接下来看下如何将抓取的内容保存在常见的mysql数据库中吧。 说明：所有的操作.....
分类：
数据库 时间：
2015-10-30 18:51:09
阅读次数：
345
1.Scrapy安装问题一开始是按照官方文档上直接用pip安装的，创建项目的时候并没有报错，然而在运行scrapy crawl dmoz的时候错误百粗/(ㄒoㄒ)/~~比如：ImportError: No module named _cffi_backendUnhandled error in De...
分类：
其他好文 时间：
2015-10-30 17:01:15
阅读次数：
261
0）安装 scrapy pip?install?scrapy 1）创建一个项目 scrapy?startproject?dmoz 2）采集 scrapy?shell????#交换学习模式 scrapy?crawl?dmoz?#自动采集模式 3）解析 response.xpath("/html/head/title...
分类：
其他好文 时间：
2015-10-29 20:23:13
阅读次数：
264
copider 模仿scrapy的一些写法，当然我这个是单进程的，不是异步的1.目录 copider/copider.py#coding=utf-8'''Created on 2015年10月8日@author: snt1'''import urllib2import lxml.htmlimport...
分类：
其他好文 时间：
2015-10-27 22:08:12
阅读次数：
243
ubuntu14.04-amd64-server安装scrapyapt-get install python-scrapy可以成功安装，但安装版本过老，使用scrapy version可看到是0.14版本安装最新版本，根据官网步骤，http://doc.scrapy.org/en/latest/to...
分类：
系统相关 时间：
2015-10-27 11:21:37
阅读次数：
256
#-*- coding:utf-8 -*-from scrapy import cmdlinecmdline.execute("scrapy crawl dmoz".split())
分类：
其他好文 时间：
2015-10-23 01:25:26
阅读次数：
184
# -*- coding:utf-8 -*-'''Created on 2015年10月22日(1.1) 例子来源: http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html'''import scrapy# 去掉 s 在P...
分类：
系统相关 时间：
2015-10-23 01:23:28
阅读次数：
342
报名了飞谷六期的爬虫项目，但是自己相关的基础还是较弱，每天都有种无所事事的感觉。决定还是记录一下每天学习到的知识，自己看看也知道学习了些什么。1.XShell连接阿里云，Xftp传输文件2.把例子的文件拷贝出来后，link文件夹中的代码如图：开始看到这些文件，我想说什么鬼。然后看了一下 Scrapy...
分类：
其他好文 时间：
2015-10-22 21:04:57
阅读次数：
227
1.安装Scrapy下载Phthon27. 32位下载pywin32http://sourceforge.net/projects/pywin32/files/pywin32/2.创建第一个Spider使用XPath选择器抓取博客园XPath的相关知识，如果调试XPath3.如何保存数据？使用pip...
分类：
Web程序 时间：
2015-10-22 08:06:45
阅读次数：
187
