数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）和聚集（数据汇总），将数据从一个较大的子空间投影到一个较小的子空间（4）数据归约：得到数据集的压缩表示，量小，但可以...
分类：
其他好文 时间：
2015-10-26 13:28:05
阅读次数：
261
原文地址：http://www.javacodegeeks.com/2015/02/streaming-big-data-storm-spark-samza.htmlThere are a number of distributed computation systems that can proc...
分类：
其他好文 时间：
2015-10-19 17:26:00
阅读次数：
339
gulp.js - the streaming build system Efficient. Using the power of node streams, gulp gives you fast builds that don't write intermediary files to dis...
分类：
其他好文 时间：
2015-10-10 10:26:16
阅读次数：
178
Real Time Streaming Protocol 实时流协议 RTSP 协议以客户服务器方式工作，它是一个多媒体播放控制协议，用来使用户在播放从因特网下载的实时数据时能够进行控制， 如：暂停、继续、后退、前进等。 RTSP 协议简介 要实现 RTSP 的控制功能，不仅要有协议，而且要有专门的...
分类：
其他好文 时间：
2015-10-08 21:35:20
阅读次数：
265
实时的流式处理系统必须是7*24运行的，同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复。然后，在使用某些数据源的时候，错误恢复时输入数据可能会丢失。在spark 1.2中，加入write ahead logs（日志）这个初步...
分类：
其他好文 时间：
2015-09-29 20:38:16
阅读次数：
609
前端组件库搭建web app常用的样式/组件等收集列表(移动优先)0. 前端自动化(Workflow)前端构建工具Yeoman – a set of tools for automating development workflowgulp – The streaming build systemg...
分类：
其他好文 时间：
2015-09-24 16:02:10
阅读次数：
279
1 ? ?Table of Contents spark 总揽 spark core spark sql spark mllib spark graphx spark streaming 2 ? ?spark 总揽 spark官网：https://spark.apache.org/ spark 资料集中营，覆盖各种视频，论文，博客，...
分类：
其他好文 时间：
2015-09-14 21:20:00
阅读次数：
163
第一步：选择要转换的CSV文件。第二步：选择以逗号分割，并创建项目。第三步：编辑，去掉特殊字符Edit Cells > Transform...第四步：导出文件，选择“Templating”菜单项。第五步：预览，并导出。
分类：
Web程序 时间：
2015-09-11 14:08:03
阅读次数：
217
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:49
阅读次数：
212
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:31
阅读次数：
169
