scrapy指令其实就是一个python的运行脚本 pyCharm是一个强大的pythonIDE 在运行scrapy库时，其实是相当于运行一个python脚本： #!/usr/bin/python
from?scrapy.cmdline?import?execute
execute() 所以当运行s...
使用apt-get安装scrapy后，调试起来总是不对，检查了一下版本，才知道默认安装的版本是0.14.04。o(╯□╰)o
查阅了一下官方文档，这是推荐的安装方法：
Import the GPG key used to sign Scrapy packages into APT keyring: sudo apt-key adv --keyserver hkp://keyserver.ubu...
分类：
系统相关 时间：
2015-08-14 01:10:17
阅读次数：
180
Beautiful Soup。名气大，整合了一些常用爬虫需求。缺点：不能加载JS。Scrapy。看起来很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个...
分类：
其他好文 时间：
2015-08-11 07:08:56
阅读次数：
9257
1.命令行工具(Command line tools) Scrapy是通过Scrapy命令行工具进行控制的。这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “command” 或者 “Scrapy commands”。Scrapy tool 针对不同的目的...
分类：
其他好文 时间：
2015-08-10 13:28:23
阅读次数：
119
1、scrapy可以做什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 也可以应用在获取API所返回的数据(例如Amazon Associates W....
分类：
其他好文 时间：
2015-08-10 13:26:15
阅读次数：
105
图scrapy+webkit：如结构图③。scrapy不能实现对javascript的处理，所以须要webkit解决问题。开源的解决方式能够选择scrapinghub的scrapyjs或者功能更强大的splash.关于scrapy+webkit的使用后期进行分析。scrapy+django:如结构图...
分类：
数据库 时间：
2015-08-08 13:26:29
阅读次数：
232
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy = Scrach+Python，Scrach这个单词是抓取的意...
分类：
其他好文 时间：
2015-08-07 07:02:47
阅读次数：
175
web数据抓取是一个经常在python的讨论中出现的主题。有很多方法可以用来进行web数据抓取，然而其中好像并没有一个最好的办法。有一些如scrapy这样十分成熟的框架，更多的则是像mechanize这样的轻量级库。DIY自己的解决方案同样十分流行：你可以使用requests、beautifulso...
分类：
编程语言 时间：
2015-08-07 06:58:46
阅读次数：
164
网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬，而是有一定目的的，并且在爬行的时候会搜集一些信息。例如 Google 就有一大堆爬虫会在 Intern...
分类：
其他好文 时间：
2015-08-04 20:52:46
阅读次数：
238
在linux下配置完运行是出现ImportError: No module named cryptography.hazmat.bindings.openssl.binding的错误。 原因是craptography并没有安装。如果直接安装cryptography时又会出现找不到libffi和cffi文件的错...
分类：
其他好文 时间：
2015-07-31 01:33:54
阅读次数：
597
