与之前爬的网站图片的不同的是，现在爬取的是要自己个人的关注的东西，所以需要做到模拟登录。模拟登录的原理是登录网站后，在浏览器上获取保存的cookies信息，填充之后与请求一起发送。...
分类：
编程语言 时间：
2015-11-27 13:10:13
阅读次数：
221
代码：# _*_ coding:utf-8 _*_import urllib2import refrom datetime import datetimeclass QSBK: def __init__(self): self.pageIndex = 1 self....
分类：
编程语言 时间：
2015-11-26 12:39:47
阅读次数：
137
最近想学一下Python爬虫与检索相关的知识，在网上看到这个教程，觉得挺不错的，分享给大家。来源：http://cuiqingcai.com/1052.html一、Python入门1.Python爬虫入门一之综述2.Python爬虫入门二之爬虫基础了解3.Python爬虫入门三之Urllib库的基本...
分类：
编程语言 时间：
2015-11-25 10:53:25
阅读次数：
166
python爬虫基本告一段落，琢磨搞点其他的，正好在网上看到一个帖子，一个外国13岁小朋友用python写的下棋程序，内容详细，也有意思，拿来练手。13岁啊。。 我这年纪还在敲 dir啥的吧想到原先玩跑跑卡丁车时看到欧酷有个4岁熊孩子玩的完美漂移录像，深受打击，从此退出车坛。。。 废话不多说，记录一...
分类：
编程语言 时间：
2015-11-23 16:34:22
阅读次数：
188
爬虫这东西最早出现在我大学计算机网络的课程上面，我们当时的老师人很好，期末不笔试，他说这东西笔试没什么用，对于一个年纪比较大的老师来讲，能提出这种方式，实在难得。当时在考虑做一个与网络有关的东西好，第一个想到的就是爬虫。想想也没想过用Java写过这种东西，所以当时是一般看一本爬虫的书一边敲代码，现在想起来有很多东西是没有想明白的——我当时爬的是刘末鹏的博客，把全部文章用分类爬了下来，在本地可以打开...
分类：
编程语言 时间：
2015-11-20 12:50:12
阅读次数：
1462
# -*- coding: utf-8 -*-import requestsimport reimport sysreload(sys)sys.setdefaultencoding('utf-8')class Spider(object): def __init__(self): ...
分类：
编程语言 时间：
2015-11-19 16:25:20
阅读次数：
265
其实我只是想试试爬取图片而已,先看看网页，需要爬的地方有两个，一是封面图，二是下载地址，挺简单的Item定义：importscrapy
classTiantianmeijuItem(scrapy.Item):
name=scrapy.Field()
p_w_picpath_urls=scrapy.Field()
p_w_picpaths=scrapy.Field()
p_w_picpath_paths=sc..
分类：
其他好文 时间：
2015-11-17 19:13:53
阅读次数：
330
最近我突然对网络爬虫开窍了，真正做起来的时候发现并不算太难，都怪我以前有点懒，不过近两年编写了一些程序，手感积累了一些肯定也是因素，总之，还是惭愧了。好了，说正题，我把这两天做爬虫的过程中遇到的问题总结一下： 需求：做一个爬虫，爬取一个网站上所有的图片（只爬大图，小图标就略过） 思路：1、获...
分类：
编程语言 时间：
2015-11-10 01:43:06
阅读次数：
250
在逛贴吧的时候看见贴吧里面漂亮的图片，或有漂亮妹纸的图片，是不是想保存下来？但是有的网页的图片比较多，一个个保存下来比较麻烦。最近在学Python，所以用Python来抓取网页内容还是比较方便的:所以就尝试了一下------code-------#coding=utf-8
importre
importurllib//导..
分类：
编程语言 时间：
2015-11-04 19:46:06
阅读次数：
313
