我们在爬取网页的时候，由于需要不断的访问目标服务器，因此给目标服务器带来了很多的压力。 因此，很多访问量大的服务器都会有保护措施，如果检测到我们的行为，可以会禁止我们的ip访问。 这个时候，我们就需要使用到代理ip来进行访问了。 在HttpCLient中，提供了一个org.apache.http.c ...
分类：
Web程序 时间：
2017-07-26 14:40:08
阅读次数：
157
首先介绍今天的主角！ interpreter：Selenium app：PhantomJS 既然是interpreter，Selenium是可以按照我第一篇博客的做法下载的。PhantomJS呢，可以直接通过我给的链接里面进行下载。当两个都安装完毕，就能正式地开始进行数据抓取了。当然例子就是我的博客 ...
分类：
Web程序 时间：
2017-07-09 19:35:00
阅读次数：
218
起因：我需要爬取外部网页的数据，起初用的jsoup，但是有时候获取不到页面元素，所以改用httpunit,然后我把httpunit的依赖加入到了pom文件，然后用httpunit编写了爬取网页的代码，写完编译的时候报下面这个错误：java.lang.NoClassDefFoundError 解决办法 ...
分类：
编程语言 时间：
2017-07-04 13:24:33
阅读次数：
282
在前面的章节中都介绍了scrapy如何爬取网页数据，今天介绍下如何爬取图片。 ...
分类：
编程语言 时间：
2017-06-26 22:34:04
阅读次数：
234
/* * 爬取网页信息 */ private static String pickData(String url) { CloseableHttpClient httpclient = HttpClients.createDefault(); try { HttpGet httpget = new ...
分类：
Web程序 时间：
2017-06-21 14:13:21
阅读次数：
211
Shell调试： 进入项目所在目录，scrapy shell “网址” 如下例中的： scrapy shell http://www.w3school.com.cn/xml/xml_syntax.asp 可以在如下终端界面调用过程代码如下所示： 相关的网页代码： 我们用scrapy来爬取一个具体的网 ...
分类：
编程语言 时间：
2017-06-20 22:28:01
阅读次数：
271
本文通过摘取 http://blog.csdn.net/howeblue/article/details/47426265 博客上的内容整理而成，有兴趣的可以去看看原文。 urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。本文主要是描述urllib2。 urllib2 ...
分类：
编程语言 时间：
2017-06-15 12:41:59
阅读次数：
280
前言： 经过前面两篇文章，你想大家应该已经知道网络爬虫是怎么一回事了。这篇文章会在之前做过的事情上做一些改进，以及说明之前的做法的不足之处。 思路分析： 1.逻辑结构图 上图中展示的就是我们网络爬虫中的整个逻辑思路（调用Python解析URL，这里仅仅作了简略的展示）。 2.思路说明： 首先。我们来 ...
分类：
编程语言 时间：
2017-06-14 19:19:25
阅读次数：
469
一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面实现一个简单的爬取 环境搭建 准备工具 ...
分类：
编程语言 时间：
2017-06-12 17:44:32
阅读次数：
420
Urllib是Python提供的一个用于操作URL的模块，在Python2.X中，有Urllib库，也有Urllib2库，在Python3.X中Urllib2合并到了Urllib中，我们爬取网页的时候，经常需要用到这个库。下面总结了Urllib相关模块中从Python2.X到Python3.X的常见... ...
分类：
编程语言 时间：
2017-06-09 15:18:15
阅读次数：
156
