所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是,定义一个入口...
分类:
其他好文 时间:
2014-07-19 15:13:58
阅读次数:
241
1.概念 nodejs不是一种独立的语言,也和php、java、.net即是开发语言也是平台不同,其也不是javascript的框架,不能和Extjs相提并论。其是将javascript运行在服务端的开发平台【开发平台就是一个供程序员开发软件的软件。其实也就是一个工具(如:微软VS,JAVA一般.....
分类:
Web程序 时间:
2014-07-18 19:38:18
阅读次数:
202
1.命令行工具 node -v 版本 node -e eval script(执行eval方法) 例如:node -e "console.log('测试')"; node 直接进入编译模式
分类:
Web程序 时间:
2014-07-18 19:31:57
阅读次数:
234
1. 首先安装nodejs (http://nodejs.org/)2. 然后在命令行输入 npm 回车假设出现下图:则表示成功安装3. 安装npm install -g cordova4. 安装JDK 这里最麻烦的就是环境变量的配置了配置环境变量:右击“我的电脑”-->"高级"-->"环境变量"1...
分类:
移动开发 时间:
2014-07-18 19:16:03
阅读次数:
268
用源代码解压的方式安装nodejs。关键点:环境变量的配置。npm用不了。
分类:
其他好文 时间:
2014-07-18 15:26:12
阅读次数:
258
官方文档地址:http://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.htmlBeautiful Soup 相比其他的html解析有个非常重要的优势。html会被拆解为对象处理。全篇转化为字典和数组。相比正则解析的爬虫,省略了学习正...
分类:
编程语言 时间:
2014-07-18 11:35:42
阅读次数:
287
第1步:下载、安装文件
打开nodejs的官网http://www.nodejs.org/download/ ,选择需要的版本,直接打开,默认安装即可
第二步:编写测试代码:
var http = require('http');
http.createServer(function(req, res) {
res.writeHead(200, {
'Cont...
分类:
Web程序 时间:
2014-07-18 11:02:02
阅读次数:
273
// 这是一个简单的Node HTTP,能处理当前目录的文件// 并能实现良种特殊的URL用于测试// 用http://localhost:8000 或http://127.0.0.1:8000 连接这个服务器// 首先,加载所有要用的模块var http = require('http'); .....
分类:
Web程序 时间:
2014-07-18 10:13:12
阅读次数:
235
July 3rd, 2012nodejs express route 的用法1. 首先是最基本的用法。12345var app=require('express').createServer(); app.get("/",function(req,res){ res.send("hello worl...
分类:
Web程序 时间:
2014-07-18 00:21:14
阅读次数:
397
运用python抓取博客园首页的全部数据,并且定时持续抓取新发布的内容存入mongodb中...
分类:
数据库 时间:
2014-07-17 17:14:21
阅读次数:
292