环境：Python2.7.9 / Sublime Text 2 / Chrome1.url访问，直接调用urllib库函数即可import urllib2url='http://www.baidu.com/'response = urllib2.urlopen(url)html=response.r...
分类：
编程语言 时间：
2015-02-14 12:16:42
阅读次数：
5893
1 #coding:utf-8 2 import urllib2 3 import re 4 import threading 5 6 #图片下载 7 def loadImg(addr,x,y,artName): 8 data = urllib2.urlopen(addr).read()...
分类：
编程语言 时间：
2015-01-30 14:37:43
阅读次数：
150
原文地址：http://blog.csdn.net/pi9nc/article/details/9734437[Python]网络爬虫（一）：抓取网页的含义和URL基本构成分类：爬虫Python2013-05-13 22:301597人阅读评论(0)收藏举报一、网络爬虫的定义网络爬虫，即Web S....
分类：
编程语言 时间：
2015-01-20 17:43:05
阅读次数：
357
Python网络爬虫简明教程 通过本教程可以快速了解网络爬虫过程，对一般性数据抓取有启发意义。...
分类：
编程语言 时间：
2015-01-06 23:09:10
阅读次数：
484
这个程序其实就是模仿用户的网页访问操作。 先从主页上获取大的商品分类，再一级一级地遍历所有的小分类。在最后得到商品列表，再遍历每个商品页，从商品页是抓取有效的信息。 这里，我对一些关键点做个总结，以便...
分类：
编程语言 时间：
2014-12-15 22:13:17
阅读次数：
291
周末没事自己写了个网络爬虫，先介绍一下它的功能，这是个小程序，主要用来抓取网页上的文章，博客等，首先找到你要抓取的文章，比如韩寒的新浪博客，进入他的文章目录，记下目录的连接比如http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html，里面每篇文章都有个连接..
分类：
编程语言 时间：
2014-12-07 06:55:19
阅读次数：
233
版本号：Python2.7.5，Python3改动较大。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。在Python中，我们使用urllib2这个组件来抓取...
分类：
编程语言 时间：
2014-10-24 01:32:31
阅读次数：
232
一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
编程语言 时间：
2014-10-24 00:11:57
阅读次数：
276
一，利用网络爬虫来下载韩寒博客文章，主要需要用到以下知识要点：1，简要了解HTML标记语言，熟悉HTTP协议，发现HTML规律2，熟悉urllib模块3，熟悉python在此我利用的是ie8的开发者工具，当然也可以使用比较出名的firebug，这是火狐的一个插件，十分好用。中心思想：获取URL链..
分类：
编程语言 时间：
2014-10-23 06:57:58
阅读次数：
333
??
对从网络上抓取到的网页进行处理：建立网络库，分词，去重，if-tdf计算权重，归一化，然后根据查询词将文本相似度从高到低的依次返回给客户
第一阶段：python网络爬虫抓取网页，并存盘
第二阶段：对磁盘上的网页文件建立网页库，将全部网页写入网页库，并建立相应网页的偏移量索引文件(1 23 100)-->(dofid, offset, size)，以便读取网页内容
...
分类：
其他好文 时间：
2014-10-04 16:33:27
阅读次数：
269
