码迷,mamicode.com
首页 >  
搜索关键字:nodejs express 爬虫 网络爬虫    ( 21321个结果
[Python]网络爬虫(一):抓取网页的含义和URL基本构成(转)
一、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这...
分类:编程语言   时间:2014-05-27 00:15:52    阅读次数:328
[Python]网络爬虫(二):利用urllib2通过指定的URL抓取网页内容(转)
版本号:Python2.7.5,Python3改动较大,各位另寻教程。所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。在Python中,我们使用urllib2...
分类:编程语言   时间:2014-05-27 00:12:25    阅读次数:323
[Python]网络爬虫(四):Opener与Handler的介绍和实例应用(转)
在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info and geturlurlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()1.geturl():这个返回获取的真实的URL,这个很有用,因为urlopen(或...
分类:编程语言   时间:2014-05-26 23:17:30    阅读次数:352
[Python]网络爬虫(三):异常的处理和HTTP状态码的分类(转)
先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时,产生urlError。不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类,通常在特定HTTP URLs中产生。1.URLError...
分类:编程语言   时间:2014-05-26 23:17:09    阅读次数:341
使用supervisor提高nodejs调试效率
如果你有PHP 开发经验,会习惯在修改PHP 脚本后直接刷新浏览器以观察结果,而你 在开发Node.js 实现的HTTP 应用时会发现,无论你修改了代码的哪一部份,都必须终止 Node.js 再重新运行才会奏效。这是因为Node.js 只有在第一次引用到某部份时才会去解析脚 本文件,以后都会直接访问...
分类:Web程序   时间:2014-05-26 22:47:12    阅读次数:273
TeraData环境搭建及基础知识
没办法,工作需要,得学习一下Teradata,现在就把平台搭建过程记录下来吧, 以便以后观看一,平台搭建 1,首先安装VMware 2,下载Express VM版的Teradata,(Teradata Express 14.0 for VMware) 地址:http://downloads.t...
分类:其他好文   时间:2014-05-26 22:18:02    阅读次数:1242
利用DNode实现php和nodejs之间的通信
利用DNode实现php和nodejs之间的通信...
分类:Web程序   时间:2014-05-23 02:07:21    阅读次数:675
Evaluate Reverse Polish Notation
Evaluate the value of an arithmetic expression inReverse Polish Notation.Valid operators are+,-,*,/. Each operand may be an integer or another express...
分类:其他好文   时间:2014-05-22 15:28:54    阅读次数:175
[Python网络编程] DNS缓存解决方案
记得以前写爬虫的时候为了防止...
分类:编程语言   时间:2014-05-21 14:08:33    阅读次数:421
大家用的nodejs编辑器大集合
WebStorm 8 with IdeaVim plugin vim, sublime sublime加上node插件。 nide Brackets vim + jshint2.vim eclipse Visual Studio 2013 + NTVS(Node.js Tools for Visual Studio) notepad++ atom.io Nodejs c...
分类:Web程序   时间:2014-05-21 13:36:47    阅读次数:493
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!