码迷,mamicode.com
首页 >  
搜索关键字:nodejs express 爬虫 网络爬虫    ( 21321个结果
社会化海量数据采集爬虫框架搭建
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭 随着BIG DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间...
分类:其他好文   时间:2014-05-12 17:06:14    阅读次数:396
使用Team Foundation Server 2012源代码管理基本
原文:使用Team Foundation Server 2012源代码管理基本本篇体验Team Foundation Server 2012安装及源代码管理。 □ 安装 搜索"team foundation server express 2012 安装",并安装。 □ 文档TFS 2012 安装指南...
分类:其他好文   时间:2014-05-06 01:14:50    阅读次数:4025
Nodejs express中创建ejs项目,解决express下默认创建jade,无法创建ejs问题
最近在看《Node.js开发指南》,看到使用nodejs进行web开发的时候,准备创建ejs项目遇到问题了,书上命令为:express -t ejs microblog可是执行后,仍旧创建的是jade项目。原来,express3.x,express4.x中创建ejs命令更新为:express -e ...
分类:Web程序   时间:2014-05-05 22:36:29    阅读次数:370
nodejs解决找不到express命令的问题
一般的书或者教程上的安装步骤是:(需要是-g,即全局安装)npm install -g express //全局安装而我们应该多多关注下express的文档,github地址:https://github.com/visionmedia/express#quick-start提示express的安....
分类:Web程序   时间:2014-05-05 22:33:19    阅读次数:422
Glusterfs目录ls性能优化方案分析
讨论了glusterfs对文件系统爬虫rsync/ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作,减少fuse client的负载,减少req的网络轮询次数,减少一次网络通信时间,缓存预抓取,并发,异步,bulk 传输。...
分类:其他好文   时间:2014-05-05 13:24:35    阅读次数:536
mongoose 数据库操作3
mongoose 数据库操作3...
分类:数据库   时间:2014-05-05 13:08:02    阅读次数:370
搭载24GB SSD的机型全新安装系统后,如何安装IRST&Express
操作系统:Windows7 32/64bit、Windows8 32/64bit问题现象: “IRST (Intel Rapid Start Technology) 技术”,部分华硕机型除了会搭载机械硬盘之外,还会搭载一颗24GB SSD,同时支持“IRST技术”和“ExpressCache技术”,...
分类:其他好文   时间:2014-05-04 19:36:46    阅读次数:373
异步DNS解析的实现
在高性能爬虫为什么使用定制DNS客户端一文中阐述了DNS解析是网络爬虫的瓶颈。目前主要有两种方法来提高DNS解析效率:1. 基于多线程的DNS 解析2. 基于NIO的DNS解析dnsjava中使用的解析方式就是基于多线程的DNS解析class ResolveThread extends Thread...
分类:其他好文   时间:2014-05-04 11:15:14    阅读次数:300
选择适合的Node.js授权认证策略
选择适合的Node.js授权认证策略作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs英文原文:https://stormpath.com/blog/choosing-nodejs-authentication-strategy/Node.js正在兴起!我从2010年就开始使用Node工作,那个时侯我看着它从一个很小的个人项目成长为一个全功能的、能够让现代...
分类:Web程序   时间:2014-05-03 21:28:29    阅读次数:385
mongoose 数据库操作 - 分页
mongoose 公用分页...
分类:数据库   时间:2014-05-03 16:11:45    阅读次数:373
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!