map(func)：对DStream中的所有的元素进行func转换生成新的DStream flatMap(func)：和map方法类似，先对DStream中的元素进行func运算，然后压平，就是说，如果有一个元素是集合或者数组，那么会被拆成一个一个的元素 filter(func)：对DStream中 ...
分类：
其他好文 时间：
2017-04-28 13:37:05
阅读次数：
152
Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、Zero ...
分类：
其他好文 时间：
2017-04-28 10:35:20
阅读次数：
186
spark笔记big dataspark 比较Hadoop生态圈：MapReduce Hive Storm Yarn Sqoop Flume HDFSSpark它会代替Hadoop:不能,可能会替代MR炒作 社区比较完善hadoop3.0作者：Doug cutting(hadoop以后也要走内存)S... ...
分类：
其他好文 时间：
2017-04-27 17:48:36
阅读次数：
242
许多应用需要即时处理收到的数据，例如用来实时追踪页面访问统计的应用、训练机器学习模型的应用， 还有自动检测异常的应用。Spark Streaming 是 Spark 为这些应用而设计的模型。它允许用户使用一套和批处理非常接近的 API 来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。 ...
分类：
其他好文 时间：
2017-04-26 01:19:45
阅读次数：
145
0. 前端自动化(Workflow) 前端构建工具 Yeoman – a set of tools for automating development workflow gulp – The streaming build system grunt – the JavaScript Task Ru ...
分类：
其他好文 时间：
2017-04-25 11:43:19
阅读次数：
259
作为相对于cloudera的CDH的另一个选择是hortonworks的HDP和HDF，HDF是针对物联网的套件，HDP是与CDH对应的大数据平台产品。 hortonworks的HDP和HDF将storm和kafka集成进大数据平台，可以进行统一监控管理。 网络上有两套参考实现，都提供了模拟的数据流 ...
分类：
其他好文 时间：
2017-04-17 14:32:59
阅读次数：
1569
在浏览网页的时候，假设有新的消息，怎样接收到？HTTP协议不能由server主动给client发送消息。1、刷微博、逛论坛贴吧，想看最新的信息怎么办？F5刷新一下就OK了！2、上面一种方式是被动的，假设用户不去刷新页面，就看不到消息。怎样让server主动推送消息给client浏览器，一种方式是用s ...
分类：
编程语言 时间：
2017-04-16 10:56:03
阅读次数：
263
Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spa ...
分类：
其他好文 时间：
2017-04-14 22:56:06
阅读次数：
195
启动服务 首先启动 go-nats-streaming 服务。为了更加能说明问题，我们启动的时候不使用默认端口号 编写一个简单的应用 上面的代码使用了订阅者启动参数的 StartWithLastReceived，这个函数的含义为：读取刚才发布者最近发布的消息内容。具体还有哪些启动参数，以下列出详情： ...
分类：
其他好文 时间：
2017-04-07 19:44:03
阅读次数：
875
gulp是一个nodejs的streaming构建工具，所谓的streaming大致意思就是把构建流程想成一个个链接的管道（pipe）。 1.什么是src和pipe？如下使用到了src 与 pipe gulp.src('spec/google.spec.js') .pipe(jasmine()); ...
分类：
其他好文 时间：
2017-04-07 17:33:52
阅读次数：
229
