参考了各位大大的，然后自己写了个爬虫用到的modules：utils.js --- momentmodule_url.js var http = require("http"); //获得页面数据 var cheerio = require("cheerio")...
分类：
Web程序 时间：
2014-06-27 19:58:25
阅读次数：
278
说起广告拦截,这应该是浏览器的一个特性,它会将window.open产生的窗口默认为一个广告,将它进行拦截,但有时,这不是我们所希望的,有时,我们就是需要它在客户端的浏览器上弹出一个新窗口,以展示数据处理的更新结果,例如,一个创建商品的预览功能,它需要先保存数据,然后再在新窗口展示最新的信息,这种需...
分类：
Web程序 时间：
2014-06-27 19:17:22
阅读次数：
263
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...二、Django 开发环境搭建及配置1. 开发环境 开发环境依然是Windows，可以开发的dj....
分类：
Web程序 时间：
2014-06-27 18:12:23
阅读次数：
295
一.目的。
在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3cschool_spider，并在items.py中定义了数据结构，
在pipelines.py中实现获得数据的过滤以及保存。
但是以上述方法只能爬取start_url列表中的网页，而网络爬虫如google等搜索引擎...
分类：
Web程序 时间：
2014-06-27 09:37:22
阅读次数：
15554
过去十年，数据处理领域发生了很大的变化，可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是，这些数据处理技术并不是实时系统，而且他们命中注定也不是。无法将Hadoop转换成实时系统，因为实时数据处理和批处理在要求上有本质的不同。
然后，大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“（即类似于Hadoop在批处理领域的通用解决方案）已经成为一个最大的遗憾。Storm弥补了...
分类：
其他好文 时间：
2014-06-27 09:04:04
阅读次数：
184
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置Bootstrap 前端页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...一、扯淡吹逼之开发前奏 终于答辩完了，实在没什么事，作为一个死宅到底的码农，只有呆在宿舍写程序玩....
分类：
Web程序 时间：
2014-06-26 18:17:01
阅读次数：
339
1语句简介编辑GroupBy语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。它的作用是通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理。2. Group By 的使用：上面已经给出了对Group By语句的理解。基于这个理解和SQL S...
分类：
其他好文 时间：
2014-06-26 17:00:02
阅读次数：
186
DMCTextFilter和HTMLFilter数据过滤器我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，海量数据处理的三个主要因素：大容量数据、多格式数据和速度，DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产..
分类：
其他好文 时间：
2014-06-26 06:34:02
阅读次数：
239
简介
诞生于25年前的VME（VersaModule Eurocard）总线是一种通用的计算机总线，结合了Motorola公司Versa总线的电气标准和在欧洲建立的Eurocard标准的机械形状因子，是一种开放式架构。它定义了一个在紧密耦合（closely coupled）硬件构架中可进行互连数据处理、数据存储和连接外围控制器件的系统。经过多年的改造升级，VME系统已经发展的非常完善，围绕其开发...
分类：
其他好文 时间：
2014-06-24 18:19:16
阅读次数：
550
