一、基础功能简介 本团队的爬虫能够从网上搜索相关内容, 并归类，把所爬到的网页或各种类型的文档下载到本地上。 上届团队Beta版本爬虫的主要功能如下： a)可爬取网页，问答页并进行问答文件分类。 b)设计了一个较为完善的UI界面，可显示爬取的进度： c) 声称能够专门爬取pdf,...
分类：
其他好文 时间：
2015-11-12 06:29:04
阅读次数：
214
转自http://blog.csdn.net/u012150179/article/details/34913315一.目的。在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3csch...
分类：
Web程序 时间：
2015-10-17 17:25:51
阅读次数：
299
新版python中，urllib和urllib2合并了，统一为urllib(1)简单爬取网页import urllibcontent = urllib.request.urlopen(req).read().decode("utf-8")(2)添加headerimport urllibreq = u...
分类：
编程语言 时间：
2015-10-03 14:20:07
阅读次数：
216
pycharm中控制台运行后出现乱码。需要文件>>设置>>编辑器>>文件编码爬取网页#-*-coding:utf-8-*-
importrequests
#中文编码UTF-8
importsys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
#模拟浏览器
hea={‘User-Agent‘:‘Mozilla/5.0(WindowsNT6.2;WOW64)..
分类：
编程语言 时间：
2015-10-03 06:16:21
阅读次数：
342
JSoup好处：可以以选择器的方式获取页面信息，简单方便易学习。这里分别介绍下以get方式和post方式发送http请求获取网页1、使用get的方式爬信息，以博客园为爬取网页上的标题等信息，爬取200页，通过观察网页可以发现规律，他们有共同的部分“http://www.cnblogs.com/#p”...
分类：
Web程序 时间：
2015-08-21 20:55:22
阅读次数：
158
最近在使用Python爬取网页内容时，总是遇到JS临时加载、动态获取网页信息的困难。例如爬取CSDN下载资源评论、搜狐图片中的“原图”等，此时尝试学习Phantomjs和CasperJS来解决这个问题。这第一篇文章当然就是安装过程及入门介绍，主要先介绍Phantomjs安装过程及常见用法，参考官方文档，包括：网页截图、页面加载、代码运算、DOM操作、网络请求及响应等，希望对你有所帮助~...
分类：
编程语言 时间：
2015-08-19 07:08:52
阅读次数：
227
经过前面两篇文章，你想大家应该已经知道网络爬虫是怎么一回事了。这篇文章会在之前做过的事情上做一些改进，以及说明之前的做法的不足之处。...
分类：
编程语言 时间：
2015-08-17 19:34:34
阅读次数：
309
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline...
分类：
其他好文 时间：
2015-07-30 00:25:03
阅读次数：
160
程序功能实现了爬取网页页面并且将结果保存到本地，通过以爬取页面出发，做一个小的爬虫，分析出有利于自己的信息，做定制化的处理。其中需要的http*的jar文件，可以在网上自行下载import java.io.DataOutputStream;import java.io.File;import jav...
分类：
Web程序 时间：
2015-07-28 22:55:39
阅读次数：
187
没想到python是如此强大，令人着迷，以前看见图片总是一张一张复制粘贴，现在好了，学会python就可以用程序将一张张图片，保存下来。今天逛贴吧看见好多美图，可是图片有点多，不想一张一张地复制粘贴，怎么办呢？办法总是有的，即便没有我们也可以创造一个办法。下面就看看我今天写的程序：#coding=u...
分类：
编程语言 时间：
2015-05-30 18:14:26
阅读次数：
181
