码迷,mamicode.com
首页 >  
搜索关键字:nodejs express 爬虫 网络爬虫    ( 21321个结果
express模块安装后cmd中不能运行
在各种关于NodeJS的教材中,必定会有关于express的介绍.express本身是一个很赞的库.在之前的express版本中,在全局模式安装(npm -g install express)之后,在cmd命令行中,都可以使用express命令进行各种操作(创建简单的网站模板等).但是,现在安装后,...
分类:其他好文   时间:2014-05-22 05:02:31    阅读次数:332
把NodeJS注册成Windows服务
为了让NodeJS开发的网站能在服务器端正常运行,最好把NodeJS需要运行的代码注册成Windows服务,服务器如果重启也不需要重新去启动NodeJS。1、编写一个执行NodeJS脚本的bat文件(run.bat),如下:@echo offd:cd D:\[目录]node [需要执行的文件名].j...
分类:Windows程序   时间:2014-05-22 03:36:20    阅读次数:413
nutch学习笔记(一)入门篇
简介 nutch是一个用java实现的网络爬虫,但却不仅仅是一个爬虫。它还囊括了网页分析,索引,搜索等功能,所白了,可以当做一个搜索引擎来用。nutch的意义在于,为普通开发人员提供了一扇研究搜索引擎的窗户,让搜索引擎不再神秘。而且,由于nutch的不断发展,对性能以及并行批处理的要求不断提供,h....
分类:其他好文   时间:2014-05-22 01:21:40    阅读次数:258
python爬虫问题请教一下大家(急等回复)
我在编写一段pythn爬虫的时候遇到一个估计是编码的问题,可以怎么也解决不好。代码如下:#- * - coding: UTF-8 -*-import urllib.requestimport rehtml = urllib.request.urlopen("http://weibo.com/p/10...
分类:编程语言   时间:2014-05-22 00:59:35    阅读次数:354
【LeetCode】Evaluate Reverse Polish Notation
Evaluate the value of an arithmetic expression inReverse Polish Notation.Valid operators are+,-,*,/. Each operand may be an integer or another express...
分类:其他好文   时间:2014-05-22 00:49:57    阅读次数:311
简单爬虫-抓取博客园文章列表
原文:简单爬虫-抓取博客园文章列表 如果使用对方网站数据,而又没有响应的接口,或者使用接口不够灵活的情况下,使用爬虫在合适不过了。爬虫有几种,对方网站展示形式有几种都是用分析,每个网站展示有相似的地方,有不同的地方。 大部分使用httpRequst就能完成,不管是否添加了口令、随即码、请求参数、提交...
分类:其他好文   时间:2014-05-22 00:45:58    阅读次数:468
博客园博主们的反击
相信不少博主都习惯了各种爬虫,各种采集了吧。前些时间好像有个朋友在抱怨博客园怎么没有对我们知识结晶进行保护。其实采集就采集吧,不加作者信息也就算了,最可恶的是不保留作者信息。好吧,不扯蛋了,我们进入正题。我测试过多种方法,比如在开头加上隐藏的作者信息,或者原文链接等等方法。可是机器人也不是吃素的,现...
分类:其他好文   时间:2014-05-21 18:51:17    阅读次数:267
关于robots.txt
做个网页爬虫或搜索引擎(以下统称蜘蛛程序)的各位一定不会陌生,在爬虫或搜索引擎访问网站的时候查看的第一个文件就是robots.txt了。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 那我们应该怎样使用robots.txt呢? ...
分类:其他好文   时间:2014-05-21 15:03:59    阅读次数:190
大家用的nodejs编辑器大集合
WebStorm 8 with IdeaVim plugin vim, sublime sublime加上node插件。 nide Brackets vim + jshint2.vim eclipse Visual Studio 2013 + NTVS(Node.js Tools for Visual Studio) notepad++ atom.io No...
分类:Web程序   时间:2014-05-21 09:24:23    阅读次数:333
Nginx担当WebSockets代理
Nginx担当WebSockets代理英文原文:http://nginx.com/blog/websocket-nginx/作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszsWebSocket 协议提供了一种创建支持客户端和服务端实时双向通信Web应用程序的方法。作为HTML5规范的一部分,WebSockets简化了开发Web实时通信程序的难度。目前主流的...
分类:Web程序   时间:2014-05-21 07:54:34    阅读次数:457
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!