最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。 1、larbin的URL去重用的很高效的bloom filter算法； 2、DNS处理，使用的adns异步的开源组件； 3、对于url队列的处理，则是用部分缓存到内存，部分写入 ...
分类：
编程语言 时间：
2016-07-22 21:10:05
阅读次数：
236
1，引言注释：上一篇《Python爬虫实战（3）：安居客房产经纪人信息采集》，访问的网页是静态网页，有朋友模仿那个实战来采集动态加载豆瓣小组的网页，结果不成功。本篇是针对动态网页的数据采集编程实战。Python开源网络爬虫项目启动之初，我们就把网络爬虫分成两类：即时爬虫..
分类：
编程语言 时间：
2016-07-15 13:49:38
阅读次数：
470
一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细 ...
分类：
编程语言 时间：
2016-07-11 21:21:28
阅读次数：
165
1，引言Python自带一个轻量级的关系型数据库SQLite。这一数据库使用SQL语言。SQLite作为后端数据库，可以搭配Python建网站，或者为python网络爬虫存储数据。SQLite还在其它领域有广泛的应用，比如HTML5和移动端。Python标准库中的sqlite3提供该数据库的接口。2，Python对SQLite..
分类：
编程语言 时间：
2016-07-11 19:29:59
阅读次数：
267
最近还在看Python版的rcnn代码，附带练习Python编程写一个小的网络爬虫程序。 抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。比如说你在浏览器的地址栏中输入 www.baidu.com 这个地址。打开网页的过程其实就是浏览器作为一个浏览的“客户端”，向服务器端发送了 一 ...
分类：
编程语言 时间：
2016-07-11 18:37:54
阅读次数：
150
网络爬虫 概述 这是一个网络爬虫学习的技术分享，主要通过一些实际的案例对爬虫的原理进行分析，达到对爬虫有个基本的认识，并且能够根据自己的需要爬到想要的数据。有了数据后可以做数据分析或者通过其他方式重新结构化展示。 什么是网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称 ...
分类：
其他好文 时间：
2016-07-08 23:15:35
阅读次数：
341
笔记之Python网络数据采集 非原创即采集 一念清净, 烈焰成池, 一念觉醒, 方登彼岸 网络数据采集, 无非就是写一个自动化程序向网络服务器请求数据, 再对数据进行解析, 提取需要的信息 通常, 有api可用, api会比写网络爬虫程序来获取数据更加方便. Part1 创建爬虫 Chapter1 ...
分类：
编程语言 时间：
2016-07-08 10:25:27
阅读次数：
588
超时函数 这个函数的作用在于可以给任意可能会hang住的函数添加超时功能，这个功能在编写外部API调用 、网络爬虫、数据库查询的时候特别有用 timeout装饰器的代码如下：import signal, functools class TimeoutError(Exception): pass #定... ...
分类：
编程语言 时间：
2016-07-06 11:48:04
阅读次数：
148
今天研究了一下C#的网络爬虫，大概用了三种方法：webbrowser,webClient,HttpWebRequest webbroswer的速度相当慢，但可以进行一些操作，比如可以进行模拟点击等等； webClient简单 易用，但是灵活性不高。不能下载需要身份验证的网页 刚试了一下，出现了爬取得 ...
