需要两个包： crawler4j-4.1-jar-with-dependencies.jar slf4j-simple-1.7.22.jar（如果不加，会有警告：SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".） ...
分类：
其他好文 时间：
2017-02-05 15:30:02
阅读次数：
1052
网络爬虫，web crawler（网页蜘蛛，网络机器人,网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序 最简单的网络爬虫：读取页面中所有的邮箱 ...
分类：
其他好文 时间：
2017-02-05 14:58:32
阅读次数：
177
Nutch 介绍 Apache Nutch是一个用Java编写的开源网络爬虫。通过它，我们就能够自动地找到网页中的超链接，从而极大地减轻了维护工作的负担，例如检查那些已经断开了的链接，或是对所有已经访问过的网页创建一个副本以便用于搜索。接下来就是Apache Solr所要做的。Solr是一个开源的全 ...
分类：
其他好文 时间：
2017-02-04 21:14:56
阅读次数：
228
CasperJS is a navigation scripting & testing utility for the PhantomJS (WebKit) and SlimerJS (Gecko) headless browsers, written in Javascript. Phantom... ...
分类：
Web程序 时间：
2017-01-22 23:39:48
阅读次数：
820
最近看了女神的新剧《逃避虽然可耻但有用》，同样男主也是一名程序员，所以很有共鸣 被大只萝莉萌的一脸一脸的，我们来爬一爬女神的皂片。 百度搜索结果：新恒结衣 本文主要分为4个部分： 1.下载简单页面 2.爬取多张图片 3.页面解码 4.爬取过程排错处理 1.下载简单页面 通过查看网页的html源码，分 ...
分类：
编程语言 时间：
2017-01-14 12:50:18
阅读次数：
402
最近看了女神的新剧《逃避虽然可耻但有用》 被大只萝莉萌的一脸一脸的，我们来爬一爬女神的皂片。 百度搜索结果：新恒结衣 1.下载简单页面 通过查看网页的html源码，分析得出，同一张图片共有4种链接： 主要区别是分辨率不同，objURL是图片的源也是最清楚的一张。经测试，前三种都有反爬虫措施，用浏览器 ...
分类：
编程语言 时间：
2017-01-13 22:34:45
阅读次数：
1913
在实现网络爬虫的过程中，验证码的出现总是会阻碍爬虫的工作。本期介绍一种利用深度神经网络来实现的端到端的验证码识别方法。通过本方法，可以在不切割图片、不做模板匹配的情况下实现精度超过90%的识别结果。 本文分为两个部分，第一个部分介绍如何利用深度神经网络实现验证码的训练和识别，第二个部分介绍在实现过程 ...
分类：
其他好文 时间：
2017-01-10 09:37:32
阅读次数：
410
网络爬虫始于一张被称作种子的统一资源地址（URLs）列表。当网络爬虫访问这些统一资源定位器时，它们会甄别出页面上所有的超链接，并将它们写入一张＂待访列表＂，即所谓＂爬行疆域＂（crawl frontier）。此疆域上的统一资源地址将被按照一套策略循环访问。如果爬虫在他执行的过程中复制归档和保存网站上 ...
分类：
编程语言 时间：
2016-12-28 01:25:51
阅读次数：
279
Python之路【第十九篇】：爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Requests Python标准库中提供了：urllib ...
分类：
编程语言 时间：
2016-12-27 01:03:22
阅读次数：
316
一、简介 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 二、requests Python标准库中提供了：urllib、urllib2、ht ...
分类：
其他好文 时间：
2016-12-24 19:39:47
阅读次数：
150
