【本文介绍】 爬取别人网页上的内容，听上似乎很有趣的样子，只要几步，就可以获取到力所不能及的东西，例如呢？例如天气预报，总不能自己拿着仪器去测吧！当然，要获取天气预报还是用webService好。这里只是举个例子。话不多说了，上看看效果吧。 【效果】我们随便找个天气预报的网站来试试：http...
分类：
编程语言 时间：
2014-08-06 17:54:02
阅读次数：
440
<?php/*网页爬虫*/#最简单的使用,属性都采用默认值/*$curl=curl_init(‘http://www.baidu.com‘);$output=curl_exec($curl);curl_close($curl);echo$output;*/#稍微复杂一点的，对页面进行操作/*$curl=curl_init();curl_setopt($curl,CURLOPT_URL,‘http://www.baidu.com‘);//..
分类：
Web程序 时间：
2014-07-29 15:46:39
阅读次数：
293
/* 网页爬虫*/import java.io.*;import java.net.*;import java.util.regex.*;class RegexTest2{ public static void main(String[] args) throws Exception { getMa...
分类：
Web程序 时间：
2014-07-23 20:34:25
阅读次数：
217
网页爬虫importjava.net.*;
importjava.io.*;
importjava.util.regex.*;
classfindMail
{
publicstaticvoidmain(String[]args)throwsException
{
//读取流关联文件
//BufferedReaderbin=newBufferedReader(newFileReader("mail.txt"));
//获取网页上的数据需要获取输入..
分类：
Web程序 时间：
2014-07-20 15:16:41
阅读次数：
217
最近在弄网页爬虫这方面的，上网看到关于htmlagilitypack搭配scrapysharp的文章，于是决定试一试~于是到https://www.nuget.org/packages/ScrapySharp去看看，看到这句下载提示：To
install ScrapySharp, run the f...
分类：
Web程序 时间：
2014-06-08 20:23:28
阅读次数：
402
因为工作需要，用nodejs写了个简单的爬虫例子，之前也没用过nodejs，连搭环境加写大概用了5天左右，so。。。要多简陋有多简陋，放这里给以后的自己看~~
整体需求是：给一个有效的URL地址，返回该网页上所有无效链接的百分比（坏链率） 第一个文件：计算环链率 urlSpider.js ...
分类：
Web程序 时间：
2014-05-31 11:28:26
阅读次数：
564
做个网页爬虫或搜索引擎（以下统称蜘蛛程序）的各位一定不会陌生，在爬虫或搜索引擎访问网站的时候查看的第一个文件就是robots.txt了。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
那我们应该怎样使用robots.txt呢？
...
分类：
其他好文 时间：
2014-05-21 15:03:59
阅读次数：
190
OJ升级,代码可能会丢失. 所以要事先备份. 一开始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启发和聪神的原始代码, 网页爬虫走起!
已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本, 试了一下修改到3.0版本, 要做很多包的更替,感觉比较烦,所以索性就在这个2.7版本上完善了.
首先观赏一下原始代码,我给加了一些注释:
# -*-...
分类：
编程语言 时间：
2014-05-15 02:39:45
阅读次数：
439
这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的，但是貌似它的数据是用js写上去还是什么的，得到的html文本中不包含数据，所以就算了爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。
1、获得html文本。 python在获取html方面十分方便，寥.....
分类：
编程语言 时间：
2014-04-28 15:31:09
阅读次数：
712
