一、网络爬虫的定义网络爬虫,即Web
Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这...
分类:
编程语言 时间:
2014-05-27 00:15:52
阅读次数:
328
版本号:Python2.7.5,Python3改动较大,各位另寻教程。所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端,
然后读取服务器端的响应资源。在Python中,我们使用urllib2...
分类:
编程语言 时间:
2014-05-27 00:12:25
阅读次数:
323
在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info and
geturlurlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()1.geturl():这个返回获取的真实的URL,这个很有用,因为urlopen(或...
分类:
编程语言 时间:
2014-05-26 23:17:30
阅读次数:
352
先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时,产生urlError。不过通常的Python
APIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类,通常在特定HTTP
URLs中产生。1.URLError...
分类:
编程语言 时间:
2014-05-26 23:17:09
阅读次数:
341
如果你有PHP 开发经验,会习惯在修改PHP 脚本后直接刷新浏览器以观察结果,而你
在开发Node.js 实现的HTTP 应用时会发现,无论你修改了代码的哪一部份,都必须终止 Node.js 再重新运行才会奏效。这是因为Node.js
只有在第一次引用到某部份时才会去解析脚 本文件,以后都会直接访问...
分类:
Web程序 时间:
2014-05-26 22:47:12
阅读次数:
273
没办法,工作需要,得学习一下Teradata,现在就把平台搭建过程记录下来吧,
以便以后观看一,平台搭建 1,首先安装VMware 2,下载Express VM版的Teradata,(Teradata Express 14.0 for
VMware) 地址:http://downloads.t...
分类:
其他好文 时间:
2014-05-26 22:18:02
阅读次数:
1242
利用DNode实现php和nodejs之间的通信...
分类:
Web程序 时间:
2014-05-23 02:07:21
阅读次数:
675
Evaluate the value of an arithmetic expression
inReverse Polish Notation.Valid operators are+,-,*,/. Each operand may be an
integer or another express...
分类:
其他好文 时间:
2014-05-22 15:28:54
阅读次数:
175
WebStorm
8 with IdeaVim plugin
vim, sublime
sublime加上node插件。
nide
Brackets
vim + jshint2.vim
eclipse
Visual Studio 2013 + NTVS(Node.js
Tools for Visual Studio)
notepad++
atom.io
Nodejs c...
分类:
Web程序 时间:
2014-05-21 13:36:47
阅读次数:
493