2016－09－24：今天的弄了一天的scrapy的环境的配置的，linux很多的学过的事情都忘记啦。理论和实践的结合还是非常的重要的，不光要学会思考，更要学会总结纪录。还要多多回忆的和复习。学习了不去使用很快就会忘记的，真是太容易忘记了。要学会去看书学习，同时知道我们缺少那些知识，及时的进行补充。 ...
分类：
编程语言 时间：
2016-09-25 06:06:02
阅读次数：
228
最近因为一个作业需要完成CNKI爬虫，研究爬虫架构的时候发现了这个疑似移植于Python的著名开源爬虫框架Scrapy的ScrapySharp，然而在网上寻找之后只发现了这个F#的Demo，就使用原文中示例的网站写了这个C#版本的代码。 PS:研究之后发现，ScrapySharp和Scrapy差距还... ...
原文：教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy，最终具备爬取任何网页的数据的能力。本文以校花网为例进行爬取，校花网：http://www.xiaohuar.com/，让你体验爬取校花的成就感。 Scrapy，Python开发的一 ...
分类：
编程语言 时间：
2016-09-04 17:28:06
阅读次数：
283
学习python爬虫框架scrapy的时候，用到pip管理工具来安装scrapy。最直观的感受，pip有点类似于Ubuntu下的apt-get工具，几行代码，自动下载、安装相关的东西。网上查了一些背景资料。 python的使用过程中经常引入其他包来实现功能，而pip就是一个管理这些包的工具。当前比较 ...
分类：
编程语言 时间：
2016-07-13 22:47:18
阅读次数：
135
一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细 ...
分类：
编程语言 时间：
2016-07-11 21:21:28
阅读次数：
165
在python学习群里发现很多学习网络爬虫技术的童靴都搞不懂python爬虫框架scrapy的安装配置，在学习python网络爬虫初级阶段的时候我们利用urllib和urllib2库以及正则表达式就可以完成了，不过遇到更加强大的爬虫工具——爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。
分类：
编程语言 时间：
2016-05-30 14:55:58
阅读次数：
405
（1）普通的内容爬取
（2）保存爬取的图片/视频和文件和网页
（3）普通模拟登录
（4）处理验证码登录
（5）爬取js网站
（6）全网爬虫
（7）某个网站的站内所有目录爬虫
（8）多线程
（9）爬虫框架Scrapy...
分类：
编程语言 时间：
2016-05-18 19:50:24
阅读次数：
200
很多学习Python编程语言的朋友都会学习Python网络爬虫技术，也有专门学习网络爬虫技术的，那么如何学习Python爬虫技术呢，今天就给大家讲讲使用Python抓取数据时非常受欢迎的Python抓取框架scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。
分类：
编程语言 时间：
2016-05-18 15:02:51
阅读次数：
418
Python爬虫框架有很多种，可是我们经常谈论使用的却屈指可数，今天就给大家谈谈Python爬虫框架——Scrapy是一个快速、高层次、轻量级的屏幕抓取和web抓取python爬虫框架，主要用于抓取特定web站点的信息并从页面中提取结构化的数据。
分类：
编程语言 时间：
2016-05-18 13:49:19
阅读次数：
208
