相比于爬虫框架，知乎小爬虫，更加适合初学者，尤其是想要了解爬虫技术细节、实现自己编写爬虫需求的初学者。 1. 谈爬虫工程师的价值 大数据时代已到，数据越来越具有价值了，没有数据寸步难行，有了数据好好利用，可以在诸多领域干很多事，比如很火的互联网金融。从互联网上爬来自己想要的数据，是数据的一个重要来源
分类：
其他好文 时间：
2016-02-17 09:28:44
阅读次数：
242
本篇主要讲述验证码的验证流程，包括如何验证码的实现、如何获取验证码、识别验证码（这篇是人来识别，机器识别放在下篇）、发送验证码。同样以一个例子来说明。目标网址 http://icp.alexa.cn/index.php（查询域名备案信息） 1.验证码的实现： 简单的说，验证码就是一张图片，图片上有字
分类：
编程语言 时间：
2016-01-29 12:06:48
阅读次数：
246
写爬虫之前，首先要明确爬取的数据。然后，思考从哪些地方可以获取这些数据。下面以一个实际案例来说明，怎么寻找一个好的爬虫策略。（代码仅供学习交流，切勿用作商业或其他有害行为） 1).方式一：直接爬取网站 目标网址：http://chanyouji.com/ 注意：这个网站会拦截IP，访问次数过多...
分类：
编程语言 时间：
2016-01-27 12:21:31
阅读次数：
214
上一节，大概讲述了Python 爬虫的编写流程， 从这节开始主要解决如何突破在爬取的过程中限制。比如，IP、JS、验证码等。这节主要讲利用IP代理突破。 1.关于代理 简单的说，代理就是换个身份。网络中的身份之一就是IP。比如，我们身在墙内，想要访问google、u2b、fb等，直接访问是4...
分类：
编程语言 时间：
2016-01-25 13:02:43
阅读次数：
425
毕设是做爬虫相关的，本来想的是用java写，也写了几个爬虫，其中一个是爬网易云音乐的用户信息，爬了大概100多万，效果不是太满意。之前听说Python这方面比较强，就想用Python试试，之前也没用过Python。所以，边爬边学，边学边爬。废话不多说，进入正题。 1.首先是获取目标页面，这个对用p....
分类：
编程语言 时间：
2016-01-22 21:16:06
阅读次数：
298
毕设是做爬虫相关的，本来想的是用java写，也写了几个爬虫，其中一个是爬网易云音乐的用户信息，爬了大概100多万，效果不是太满意。之前听说Python这方面比较强，就想用Python试试，之前也没用过Python。所以，边爬边学，边学边爬。废话不多说，进入正题。 1.首先是获取目标页面，这个对...
分类：
编程语言 时间：
2016-01-22 17:42:59
阅读次数：
212
寒假开始学习一些简答的爬虫并且做一些有意义的事情。首先，百度一下爬虫的意思：网络爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。我所理解的...
分类：
其他好文 时间：
2016-01-17 01:11:22
阅读次数：
216
首先，推荐两个关于python爬虫不错的博客：Python爬虫入门教程专栏 和 Python爬虫学习系列教程。写的都非常不错，我学习到了很多东西！在此，我就我看到的学到的进行总结一下！ 爬虫就是一个不断的去抓去网页的程序，根据我们的需要得到我们想要的结果！但我们又要让服务器感觉是我们人在通过浏...
分类：
编程语言 时间：
2016-01-14 18:47:36
阅读次数：
189
百词斩是一款很不错的单词记忆APP，在学习过程中，它会记录你所学的每个单词及你答错的次数，通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住。我们来用Python来爬取这些信息，同时学习Python爬虫基础。首先来到百词斩网站：http://www.baicizhan.com/logi...
分类：
编程语言 时间：
2015-12-16 01:39:42
阅读次数：
374
2015-11-28 21:22PM 家乐福归来，买了暖手器
分类：
其他好文 时间：
2015-11-28 22:57:40
阅读次数：
282
