最近我突然对网络爬虫开窍了，真正做起来的时候发现并不算太难，都怪我以前有点懒，不过近两年编写了一些程序，手感积累了一些肯定也是因素，总之，还是惭愧了。好了，说正题，我把这两天做爬虫的过程中遇到的问题总结一下： 需求：做一个爬虫，爬取一个网站上所有的图片（只爬大图，小图标就略过） 思路：1、获...
分类：
编程语言 时间：
2015-11-10 01:43:06
阅读次数：
250
Python3 网络爬虫1. 直接使用python3一个简单的伪代码以下这个简单的伪代码用到了set和queue这两种经典的数据结构, 集与队列. 集的作用是记录那些已经访问过的页面, 队列的作用是进行广度优先搜索.1234567891011queue Qset SStartPoint = "htt...
分类：
编程语言 时间：
2015-11-06 19:20:36
阅读次数：
347
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
网络爬虫（Web crawler）：也叫网络蜘蛛（Web spider）,网络爬虫的基本操作就是抓取网页。浏览网页：在火狐浏览器中打开百度www.baidu.com ，就是将浏览器作为一个’客户端‘， 向服务器发送一次请求， 把服务器的文件’抓取‘到本地，再进行解释和展现.HTML：是一种标记语言，...
分类：
编程语言 时间：
2015-10-31 22:46:52
阅读次数：
212
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
分类：
其他好文 时间：
2015-10-30 12:37:42
阅读次数：
99
36大数据专稿，本文由36大数据收集整理，转载必须标明来源36大数据且附上本文连接。http://www.36dsj.com/archives/34383要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜...
分类：
其他好文 时间：
2015-10-30 07:05:14
阅读次数：
302
网络爬虫又称网页蜘蛛、网络机器人、在FOAF社区常称网页追逐者。网络爬虫是一种按照一定规则，自动抓取万维网信息的程序或脚本。另外一些不常使用名称还有蚂蚁、自动索引、模拟程序或蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效提取并利用这些信息成为一个巨大挑战。搜索引擎(Search Eng...
分类：
其他好文 时间：
2015-10-28 19:09:22
阅读次数：
7115
无论你是由于什么原因想做一个网络爬虫，首先做的第一件事情就是要了解它。在了解网络爬虫之前一定要牢记以下4个要点，这是做网络爬虫的基础：1.抓取py的urllib不一定去用，但是要学，如果你还没用过的话。比较好的替代品有requests等第三方更人性化、成熟的库，如果pyer不了解各种库，那就白学了。...
分类：
其他好文 时间：
2015-10-26 00:24:35
阅读次数：
259
前言： 从事网络爬虫三年有余，近期工作稍微有所调整 ，开始倾向于数据分析。之前零零散散的做过些简要的分析【电商数据分析，社交媒体状态分析】。而至于数据分析也算新手，没有系统的学过 。 计划这个方式掌控学习： 为生产环境快速实现case【code by python】--> 补充理论知识【书,下列有书...
分类：
其他好文 时间：
2015-10-20 17:47:18
阅读次数：
214
今天看到一段js代码，是关于抢淘宝代金券的js代码，发现这段代码不是很长，但是很具有代表性，类似于网络爬虫程序，由于代码不长，对于理解爬虫程序很有帮助，然后分析了下这段代码。下面贴出代码，并附上我的一些注释。 1 (function(window, document, undefined) { 2 ...
分类：
Web程序 时间：
2015-10-15 20:39:18
阅读次数：
200
