探查目标信息 1、子域名检索。 layer 2、同IP域名检索。 layer/站长工具IP反查 3、探查同IP所有web应用。 Nmap 检索web应用内容 1、手动代理+自动爬取。burp spider/awvs/... 2、字典式强制浏览。御剑扫描 3、推测式强制浏览+自动爬取。burp dis...
分类：
其他好文 时间：
2015-01-27 21:49:05
阅读次数：
247
原因:早期由于搜索引擎蜘蛛的不完善，蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。所以蜘蛛为了避免之前现象就不读取动态的url，特别是带？的url解决方案:1):配置路由 routes.MapRoute("RentofficeList", ...
分类：
其他好文 时间：
2015-01-20 20:10:26
阅读次数：
182
#include //蜘蛛纸牌存档文件，读取分数。int main(void){ FILE *rfile; int p[20]; rfile = fopen("d:\\spider.sav","rb+");//只能用rb+，不能用wb fseek(rfile,368,SEEK_SET);//36.....
分类：
其他好文 时间：
2015-01-18 17:00:00
阅读次数：
128
#include //蜘蛛纸牌存档文件，修改分数。int main(void){ FILE *wfile; int n = 655320; wfile = fopen("d:\\spider.sav","rb+");//只能用rb+，不能用wb fseek(wfile,368,SEEK_SET);....
分类：
其他好文 时间：
2015-01-18 14:21:26
阅读次数：
183
# -*- coding: utf-8 -*- import scrapy import chardet from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from scrapy.ut...
分类：
其他好文 时间：
2015-01-14 09:39:24
阅读次数：
148
第二部分抽取起始页中进入宝贝详情页面的链接创建项目，并生成spider模板，这里使用crawlspider。2.在中scrapyshell中测试选取链接要使用的正则表达式。首先使用firefox和firebug查看源码，定位到要链接然后在shell中打开网页：scrapyshellhttp://shanhuijj.tmall.com/search.h..
分类：
编程语言 时间：
2015-01-12 06:53:47
阅读次数：
945
什么是爬虫?从逻辑角度讲，爬虫对应一个树。树枝是网页，树叶是感兴趣的信息。当我们从一个URL出发查找感兴趣的信息时，当前URL返回的内容可能包含我们感兴趣的信息，也可能包含另一个可能包含我们感兴趣的信息的URL。一个爬虫对应一次信息搜索，信息搜索过程会建立起一棵树。s..
分类：
编程语言 时间：
2015-01-11 06:25:52
阅读次数：
641
packagecom.ttol.spider;
importjava.io.IOException;
importjava.net.URL;
import
java.util.List;
importorg.jdom.Document;
importorg.jdom.Element;
import
org.jdom.JDOMException;
importorg.jdom.input.SAXBuilder;
publicclassSpiderRss{
publicstaticvoidmain(String..
分类：
其他好文 时间：
2015-01-10 18:29:35
阅读次数：
143
背景做一个简单的spider用来获取python selenium实战教程的一些基本信息。因为python selenium每年滚动开课，所以做这样一个爬虫随时更新最新的开课信息是很有必要的。预备知识python语法，不会python的同学建议通过这个视频学习；安装好robobrowser，没有安装...
分类：
其他好文 时间：
2015-01-09 17:16:29
阅读次数：
190
1.爬虫的介绍 图1-1? 爬虫（spider) ? ? ?? ? ? ? 网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序，在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接，资源等，...
分类：
其他好文 时间：
2015-01-08 13:32:56
阅读次数：
247
