[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本，最自由的使用方式 上一篇大至 介绍了一下爬虫的框架设计，从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨，实用性不强。实际上可能他没有仔细看 ...
分类：
其他好文 时间：
2016-05-25 10:39:05
阅读次数：
196
上一篇大至 介绍了一下爬虫的框架设计，从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨，实用性不强。实际上可能他没有仔细看到我的设计，我的核心抽取不是Attrbiute+模型，而是采用类似JSON的定义格式，可以实现各种嵌套，各种能 ...
分类：
Web程序 时间：
2016-05-25 00:07:43
阅读次数：
2643
有半个月没有更新了，最近确实有点忙。先是华为的比赛，接着实验室又有项目，然后又学习了一些新的知识，所以没有更新文章。为了表达我的歉意，我给大家来一波福利。。。 今天咱们说的是爬虫框架。之前我使用python爬取慕课网的视频，是根据爬虫的机制，自己手工定制的，感觉没有那么高大上，所以我最近玩了玩 py ...
分类：
其他好文 时间：
2016-05-22 20:07:08
阅读次数：
347
起因 最近突然发了羊癫疯，对爬虫十分感兴趣，开始想写几个爬虫练练手，于是，洗手开搞。 像我这种懒人，对爬虫了解个大概之后就开始偷懒了，开始找框架了，Google关键字“Java 爬虫”，第一个搜索结果就是 高票回答推荐的几款爬虫框架：nutch、Heritrix、crawler4j、WebColle ...
分类：
编程语言 时间：
2016-05-20 19:19:26
阅读次数：
229
（1）普通的内容爬取
（2）保存爬取的图片/视频和文件和网页
（3）普通模拟登录
（4）处理验证码登录
（5）爬取js网站
（6）全网爬虫
（7）某个网站的站内所有目录爬虫
（8）多线程
（9）爬虫框架Scrapy...
分类：
编程语言 时间：
2016-05-18 19:50:24
阅读次数：
200
很多学习Python编程语言的朋友都会学习Python网络爬虫技术，也有专门学习网络爬虫技术的，那么如何学习Python爬虫技术呢，今天就给大家讲讲使用Python抓取数据时非常受欢迎的Python抓取框架scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。
分类：
编程语言 时间：
2016-05-18 15:02:51
阅读次数：
418
Python爬虫框架有很多种，可是我们经常谈论使用的却屈指可数，今天就给大家谈谈Python爬虫框架——Scrapy是一个快速、高层次、轻量级的屏幕抓取和web抓取python爬虫框架，主要用于抓取特定web站点的信息并从页面中提取结构化的数据。
分类：
编程语言 时间：
2016-05-18 13:49:19
阅读次数：
208
话说现在基本上大家都在网上买东西，国家经济数据已经可以在网络购物的数据中略微窥见一二，再加上目前B2B行业的持续火爆，大有把所有交易搬到网上来的趋势，这个系列教程就来讲讲如果爬取这些大量的电商交易的数据。 工具要求：教程中主要使用到了 1、神箭手云爬虫框架 这个是爬虫的基础，2、Chrome浏览器和 ...
分类：
其他好文 时间：
2016-05-13 11:13:22
阅读次数：
255
话说现在基本上大家都在网上买东西，国家经济数据已经可以在网络购物的数据中略微窥见一二，再加上目前B2B行业的持续火爆，大有把所有交易搬到网上来的趋势，这个系列教程就来讲讲如果爬取这些大量的电商交易的数据。工具要求：教程中主要使用到了1、神箭手云爬虫框架这个是爬..
分类：
其他好文 时间：
2016-05-13 04:51:42
阅读次数：
178
之前的做法是使用PhantomJS以及一个html+嵌套iframe包含目标网站URL+跨域dom操作的简单性能优化。
PhantomJS实现下面的核心需求：
（1）无头模式，然而PhantomJS内核基于老版本的QtWebKit，与最新版本的Chromium代码相比，版本太老了，很多特性用不了（虽然目前国内网站应该也还没开始用上这些？比如ServiceWorker、CSS
Custo...
分类：
其他好文 时间：
2016-05-13 01:48:06
阅读次数：
247
