开发环境PyCharm目标网站和上一次一样,可参考：http://dingbo.blog.51cto.com/8808323/1597695但是这次不是在单个文件中运行，而是创建一个scrapy项目1.使用命令行工具创建scrapy项目的基本目录结构2.编辑items.py3.在spiders目录下，新建spider1.py报错很正常我们按照scrapypr..
分类：
编程语言 时间：
2015-01-06 12:11:40
阅读次数：
277
本人比较喜欢看美剧，尤其喜欢人人影视上HR-HDTV 的 1024 分辨率的高清双字美剧，这里写了一个脚本来批量获得指定美剧的所有 HR-HDTV 的 ed2k下载链接，并按照先后顺序写入到文本文件。这个 python 爬虫比较短，就用到了 urllib.request 和 re 这两个模块，前者负责抓取网页，后者负责解析文本。想进一步加强爬虫的功能，可以用爬虫框架 Scrapy。还有就是，网页内容多是 javascript 生成，就需要一个 js 引擎了，PyV8 可以拿来试试，再有就是基于 js 的爬虫...
分类：
编程语言 时间：
2014-10-11 22:03:36
阅读次数：
344
在os x下，安装完python爬虫框架scrapy后，使用scrapy startproject tutorial新建scrapy项目时，出现以下问题：Traceback (most recent call last): File "/usr/local/bin/scrapy", line 5,....
分类：
其他好文 时间：
2014-10-06 12:32:50
阅读次数：
412
要在centos下安装一个python的爬虫框架scrapy，可是一直遇到lxml无法安装，报错为 error:?command?‘gcc‘?failed?with?exit?status?1 查找资料后在Stack Overflow找到解决方法 sudo?yum?install?-y?gcc...
分类：
其他好文 时间：
2014-10-02 13:58:33
阅读次数：
175
