scrapy进行页面抓去的时候，保存的文件出现乱码，经过分析是编码的原因，只需要把编码转换为utf-8即可，代码片段......import chardet ...... content_type = chardet.detect(html_content) #print(content_typ.....
分类：
编程语言 时间：
2015-04-17 13:24:59
阅读次数：
167
安装python 四步：
1.python2.7
2.lxml-------http://blog.csdn.net/zhaokuo719/article/details/8209496
3.openssl--------http://blog.chinaunix.net/uid-20479991-id-216269.html
(如果这个出现'ml.exe'问题，那么最简单的方法是去下载低...
分类：
其他好文 时间：
2015-04-14 11:20:28
阅读次数：
149
$ Ubuntu 14.04 LTS安装Scrapypip install scrapyhttp://scrapy.org/安装pipsudo apt-get install python-piphttp://blog.csdn.net/kingppy/article/details/1308091...
分类：
其他好文 时间：
2015-04-10 17:34:06
阅读次数：
174
defprocess_item(self,item,spider):ifre.search(r‘***‘,item[‘lineContent‘].encode(‘utf8‘)):raiseDropItem("noneedin%s"%item[‘lineContent‘])else:ifspider.name==‘**‘:query=self.dbpool.runInteraction(self._conditional_insert,item)#query.addErrback(self.handle_err..
分类：
其他好文 时间：
2015-04-06 06:35:15
阅读次数：
1264
第二部分抽取起始页中进入宝贝详情页面的链接创建项目，并生成spider模板，这里使用crawlspider。2.在中scrapyshell中测试选取链接要使用的正则表达式。首先使用firefox和firebug查看源码，定位到要链接然后在shell中打开网页：scrapyshellhttp://shanhuijj.tmall.com/search.h..
分类：
编程语言 时间：
2015-04-05 19:04:49
阅读次数：
400
有了url之后，用xpath表达式提取出来，再写到文件里即可...
分类：
Web程序 时间：
2015-04-03 09:35:12
阅读次数：
167
1. 使用pip安装2. 新建爬虫之前，运行scrapy startproject tutorial3. 在spiders目录下放入spider4. 运行scrapy crawl dmoz
分类：
其他好文 时间：
2015-03-20 23:40:40
阅读次数：
157
Scrapy 是什么？
Scrapy 是一个开源的基于Twisted的python爬虫框架，我们只要定制几个简单的模块就能实现网络数据的爬取。
Scrapy 的整体架构
简单的解释一下上面的图:
爬虫处理的原材料是一个或多个url，爬取时Sheduler会把一个url分配给Downloader来进行一次网络的request请求，请求完成后Downloader再把所得到的res...
分类：
移动开发 时间：
2015-03-10 19:28:45
阅读次数：
259
Flask：Python系的轻量级Web框架。1. 网页爬虫工具集Scrapy 推荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》Beautiful Soup客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清...
分类：
编程语言 时间：
2015-03-10 15:16:03
阅读次数：
256
Scrapy安装介绍一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from t...
分类：
其他好文 时间：
2015-03-05 14:40:26
阅读次数：
190
