Scrapy 是什么？
Scrapy 是一个开源的基于Twisted的python爬虫框架，我们只要定制几个简单的模块就能实现网络数据的爬取。
Scrapy 的整体架构
简单的解释一下上面的图:
爬虫处理的原材料是一个或多个url，爬取时Sheduler会把一个url分配给Downloader来进行一次网络的request请求，请求完成后Downloader再把所得到的res...
分类：
移动开发 时间：
2015-03-10 19:28:45
阅读次数：
259
转自http://cuiqingcai.com/947.html1.分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便...
分类：
编程语言 时间：
2015-02-25 01:51:51
阅读次数：
323
http://cuiqingcai.com/1052.html大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大...
分类：
编程语言 时间：
2015-02-23 06:28:08
阅读次数：
224
本次安装使用的系统环境是windows xp。以下给出具体步骤。我想如果照做一定能够成功哦。
1.安装python2.6.这里选择的是python2.6,为什么选择这个版本，
首先，scrapy官网上明确写出：requirements:
Python 2.5, 2.6, 2.7 (3.x is not yet supported), 即目前只支持python2.5,2.6,2...
分类：
编程语言 时间：
2015-02-10 11:20:33
阅读次数：
591
摘要 之前一直使用默认的parse入口，以及SgmlLinkExtractor自动抓取url。但是一般使用的时候都是需要自己写具体的url抓取函数的。 python 爬虫 scrapy scrapy提高 最近看scrappy0.24官方文档看的正心烦的时候，意外发现中文翻译0.24文档，简直...
分类：
编程语言 时间：
2015-02-04 09:16:30
阅读次数：
1361
做图像处理的朋友，都时常需要收集整理大量的图像数据集。做科研时有各种现有的标准数据集大家都直接拿来用，但是工程上却经常需要自己收集图片，从网上爬取图片便成了比较常见的任务。为了用python完成这个任务，需要解决如下两个问题：
1. 图片素材源自哪里呢？第一直觉就是搜索引擎里的图片，比如要收集手机的图片，则进入搜索引擎搜索关键字即可得到大量相关图片。
2. 动态网站的内容往往是通过aj...
分类：
编程语言 时间：
2015-01-31 00:34:34
阅读次数：
860
import re
import urllib
import os
def rename(name):
name = name + '.jpg'
return name
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg(ht...
分类：
编程语言 时间：
2015-01-30 09:08:37
阅读次数：
211
#!/usr/bin/python
#encoding=utf-8
import?urllib2????
import?urllib????
import?re????
import?thread????
import?time????
class?Spider(object):
????
????def??__ini...
分类：
编程语言 时间：
2015-01-29 01:59:29
阅读次数：
347
原文地址：http://blog.csdn.net/pi9nc/article/details/9734437[Python]网络爬虫（一）：抓取网页的含义和URL基本构成分类：爬虫Python2013-05-13 22:301597人阅读评论(0)收藏举报一、网络爬虫的定义网络爬虫，即Web S....
分类：
编程语言 时间：
2015-01-20 17:43:05
阅读次数：
357
