Spark Streaming: Spark用于处理流式数据的模块，类似Storm 核心：DStream（离散流），就是一个RDD 一、Spark Streaming基础 1、什么是Spark Streaming？ （*）Spark Streaming makes it easy to build ...
分类：
其他好文 时间：
2018-04-03 17:27:52
阅读次数：
3133
Fluk Fluk是storm中的一个框架，主要功能是简化storm 任务在管理、配置topology中的一些问题和麻烦。 产生的原因背景 在管理storm 的topolgy的过程中，我们最常做的工作就是提交jar包。如下代码所示： 上述提交任务的代码，通常都是位于上层的java任务管理器中。同时关 ...
分类：
其他好文 时间：
2018-03-27 22:59:35
阅读次数：
818
在Google上根据关键字”程序员鄙视链”搜索，会得到68多万条结果。 玲琅满目的搜索结果里是众多不同维度划分的鄙视链。 其中有一个维度，就是编程工具的鄙视链，比如： 而我在SAP做的所有开发都用的是IDE而不是text editor，看来我也免不了处于鄙视链末端的结局了。 这篇文章我想介绍一些我用 ...
分类：
其他好文 时间：
2018-03-26 23:37:51
阅读次数：
217
Aggregator首先在输入流上运行全局重新分区操作(global)将同一批次的所有分区合并到一个分区中，然后在每个批次上运行的聚合功能，针对Batch操作。与ReduceAggregator很相似。 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/arti ...
分类：
其他好文 时间：
2018-03-24 22:37:02
阅读次数：
265
ReducerAggregator首先在输入流上运行全局重新分区操作(global)将同一批次的所有分区合并到一个分区中，然后在每个批次上运行的聚合功能，针对Batch操作。 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/article/details/79 ...
分类：
其他好文 时间：
2018-03-24 21:27:45
阅读次数：
141
以下代码演示function, filter, projection的使用，可结合注释 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/article/details/79666918 输出： <Sat Mar 24 13:41:42 CST 2018[par ...
分类：
其他好文 时间：
2018-03-24 14:32:49
阅读次数：
177
如下代码使用partitionBy做repartition, partitionBy即根据相应字段的值按一定算法，把tuple分配到目标partition当中（Target Partition = hash(fields) % (number of target partition)）， 相同值会被 ...
分类：
其他好文 时间：
2018-03-23 16:23:04
阅读次数：
187
本例包括Storm Trident中shuffle与parallelismHint的使用。 代码当中包括注释 输出结果如下：一共14条 tuples，分布上0-4的partition里 <Fri Mar 23 14:17:13 CST 2018[partition1-Thread-146-b-0-e ...
分类：
其他好文 时间：
2018-03-23 15:19:54
阅读次数：
172
从storm到spark streaming，再到flink，流式计算得到长足发展， 依托于spark平台的spark streaming走出了一条自己的路，其借鉴了spark批处理架构，通过批处理方式实现了实时处理框架。为进一步了解spark streaming的相关内容，飞马网于3月20日晚邀请到历任百度大数据的高级工程师—王富平，在线上直播中，王老师针对spark streaming高级特性
分类：
其他好文 时间：
2018-03-21 21:14:25
阅读次数：
228
一、实时业务指标分析 1.业务 业务： 订单系统 >MQ >Kakfa >Storm 数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额 统计双十一当前的订单金额，订单数量，订单人数 订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品） ...
分类：
Web程序 时间：
2018-03-12 21:16:36
阅读次数：
229
