总算有时间动手用所学的python知识编写一个简单的网络爬虫了，这个例子主要实现用python爬虫从百度图库中下载美女的图片，并保存在本地，闲话少说，直接贴出相应的代码如下：-------------------------------------------------------------------------------------------#cod..
分类：
编程语言 时间：
2015-05-01 20:05:16
阅读次数：
153
上一篇简单的Demo确实实现了一些爬虫的功能。但是距真正的搜索引擎爬虫确实想去甚远。
1.首先下载URL时，大多是维护一个DNS服务器，找到相应的IP在进行下载网页。
2.维护URL队列时，上篇程序属于纵向的深度遍历，所以维护队列会越来越大，这算是比较大的bug了。解决方法起线程，或者每个页面只抓取一个URL。
3，关于URL抓取和种子URL写的也比较简陋，好吧，原谅他只是个Demo。urll...
分类：
其他好文 时间：
2015-04-29 23:34:54
阅读次数：
330
最近想上手Python。快速入门一门语言的方法就是写个小Demo。Python Demo必须是爬虫了。第一个小爬虫程序有些简陋，高手勿喷。关于爬虫主要分为三个部分：根据队列中的URL爬取界面、获取内容、保存结果。程序是以百度网站大全为种子URL，抓取页面中URL依次放入队列中，爬虫从URL队列依次取得新URL继续向外爬取。# -*- coding: utf-8 -*-
import urllib2...
分类：
编程语言 时间：
2015-04-29 21:47:24
阅读次数：
154
突然心血来潮想抓一个京东的商品价格，突然发现网页的源码里没有价格这一项，只有商品的编号，网上说是显示的同事js从数据库里取出商品价格，放在页面上，那么我只能模拟请求了。哇咔咔，记得去你给京东投简历之后就没有然后了，难道就因为我也叫京东，你这也太浮夸了，给我幼小心灵造成创伤了。
原本要写一下creepy这个模块来抓取了，但今天时间不够了，明天还要上班。。。。明天再写那个模块吧，据说...
分类：
编程语言 时间：
2015-04-29 10:00:23
阅读次数：
179
为了练手，使用爬虫爬一个“你懂得”图床的，使用的是urlretrieve函数，不但速度慢，还总是会报错，不是open的timeout就是上面提到的socket error。在网上找了许多办法诸如在urllib2.Request.urlopen().read()后需要调用close()关闭等方法并未奏效。
由于不想麻烦scrapy等库，所以发现了个简单粗暴的办法：
直接使用urllib自带的ope...
分类：
编程语言 时间：
2015-04-26 13:54:36
阅读次数：
295
说明：和上一个下载百度贴吧图片差不多，修改了正则，加入了页码控制#!/usr/bin/env python
#! -*- coding: utf-8 -*-
#图片地址样例:src="http://ww2.sinaimg.cn/large/005Yan1vjw1erf95qkbfog307e08uu0y.gif" style="width:460px"
import urllib,urllib2
i...
分类：
编程语言 时间：
2015-04-26 13:53:49
阅读次数：
160
说明：仅为测试下载图片、正则表达式
测试url为钢铁侠贴吧的一个介绍mark各代盔甲帖子
以下代码将第一页的图片全部下载到本程序根目录#!/usr/bin/env python
#! -*- coding: utf-8 -*-
import urllib,urllib2
import re
#返回网页源代码
def getHtml(url):
html = urllib2.urlopen...
分类：
编程语言 时间：
2015-04-23 13:27:53
阅读次数：
184
说明：和上一个下载百度贴吧图片差不多，修改了正则，加入了页码控制；
此外也加入了输出格式控制，如果想加入手动设定存储路径功能，可以参考之前的百度贴吧爬虫#!/usr/bin/env python
#! -*- coding: utf-8 -*-
#图片地址样例:src="http://ww2.sinaimg.cn/large/005Yan1vjw1erf95qkbfog307e08uu0y.gif...
分类：
编程语言 时间：
2015-04-23 13:18:49
阅读次数：
228
刚刚测试了糗百爬虫，结果第二天糗百的源代码就换格式了= =
重新改了正则表达式发上来：#! -*- coding:utf-8 -*-
#! usr/bin/python'''
#=====================================================
# FileName: Spider_qb.py
# Describe: 从糗百下载段子并依次播放
#...
分类：
编程语言 时间：
2015-04-22 09:38:51
阅读次数：
200
笔者出于兴趣或者工作需要，会经常对一些网站的数据进行数据抓取，对于像淘宝、携程、百度这类大型互联网公司的网站，出于安全或者性能考虑，常常会针对网站加入反抓取策略脚本。在该类脚本中，常见的手法有以下几种：1. 针对简单数值变量的值，会把它用一个数值表达式来表示，让你没办法一眼看穿它，如：_lkqr =...
分类：
Web程序 时间：
2015-04-21 12:56:28
阅读次数：
115
