首先，看完这篇文章，不能保证你成为大神，但是却可以让你懂得什么是爬虫，如何使用爬虫，如何利用http协议，侵入别人的系统，当然只是一些简单的教程，拿到一些简单的数据； 先上代码，在一步一步讲解： 这是一个工具类，不用详细看，网上哪里都能找到发送http请求的工具类，少包自己导 package com ...
分类：
编程语言 时间：
2017-09-15 20:17:02
阅读次数：
369
一、获取你想要抓取的网站地址：http://www.zhaopin.com/然后打开控制台，F12，打开。我用的是Chrome浏览器，跟个人更喜欢Chrome的控制台字体。找到搜索栏对应的html标签：http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E6%B7%B1%E5%9C%B3&kw=Java&sm=0&p=1..
分类：
编程语言 时间：
2017-09-07 14:50:43
阅读次数：
185
就是用java开发的爬取网络资源的小程序，可以获得类似userip，userport，serverip，serverport等资源 开源的有crawler4j等 ...
分类：
编程语言 时间：
2017-08-30 14:15:52
阅读次数：
142
JAVA 爬虫工具有挺多的，但是Gecco是一个挺轻量方便的工具。 先上项目结构图。 这是一个 JAVASE的 MAVEN 项目，要添加包依赖，其他就四个文件。log4j.properties 加上三个java类。 1、先配置log4j.properties 2、接下来着手写Blog.java，里面 ...
分类：
编程语言 时间：
2017-08-06 14:11:18
阅读次数：
395
当我们需要从网络上获取资源的时候，我们一般的做法就是通过浏览器打开某个网站，然后将我们需要的东西下载或者保存下来。 但是，当我们需要大量下载的时候，这个时候通过人工一个个的去点击下载，就显得太没有效率了。这个时候我们就可以通过程序来实现批量的获取资源的方式，我们称之为爬虫。也就是从网络上的站点爬取资 ...
分类：
编程语言 时间：
2017-07-23 19:57:13
阅读次数：
193
掌握一半便能够熟练的开发爬虫玩了。自己正在努力中... 一、技能列表、掌握java、尤其编程网络部分；李刚的java基础至少看了三遍以上； 2、熟悉html、js、 ajax、firedebug3、网页去重、找到网站特点4、分布式5、多线程6、一种关系型数据库mysql/oraclelserver/ ...
分类：
编程语言 时间：
2017-06-26 16:07:13
阅读次数：
128
非常多业务须要下载整站页面（有时为多个站点）。将页面依照站点拓扑结构存放。 以下给出用JAVA爬虫WebCollector(2.09版本号以上)爬取整站网页并依照网页拓扑结构存储到本地的代码。 代码中的抽取器能够作为一个插件复用。 WebCollector的jar包可到官网下载：WebCollect ...
分类：
编程语言 时间：
2017-06-14 14:24:31
阅读次数：
487
爬虫爬取时，须要约束爬取的范围。基本全部的爬虫都是通过正則表達式来完毕这个约束。 最简单的，正则： http://www.xinhuanet.com/.*代表"http://www.xinhuanet.com/"后加随意个随意字符（能够是0个）。 通过这个正则能够约束爬虫的爬取范围,可是这个正则并非 ...
分类：
编程语言 时间：
2017-06-11 11:30:04
阅读次数：
169
爬虫的实质就是打开网页源代码进行匹配查找，然后获取查找到的结果。/** 获取* 将正则规则进行对象的封装。 * Pattern p = Pattern.compile("a*b");* //通过正则对象的matcher方法字符串相关联。获取要对字符串操作的匹配器对象Matcher .* Matche... ...
分类：
编程语言 时间：
2017-06-02 18:56:05
阅读次数：
369
Jsoup是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和...
分类：
编程语言 时间：
2017-04-25 11:43:00
阅读次数：
351
