Aggregator首先在输入流上运行全局重新分区操作(global)将同一批次的所有分区合并到一个分区中，然后在每个批次上运行的聚合功能，针对Batch操作。与ReduceAggregator很相似。 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/arti ...
分类：
其他好文 时间：
2018-03-24 22:37:02
阅读次数：
265
ReducerAggregator首先在输入流上运行全局重新分区操作(global)将同一批次的所有分区合并到一个分区中，然后在每个批次上运行的聚合功能，针对Batch操作。 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/article/details/79 ...
分类：
其他好文 时间：
2018-03-24 21:27:45
阅读次数：
141
以下代码演示function, filter, projection的使用，可结合注释 省略部分代码，省略部分可参考：https://blog.csdn.net/nickta/article/details/79666918 输出： <Sat Mar 24 13:41:42 CST 2018[par ...
分类：
其他好文 时间：
2018-03-24 14:32:49
阅读次数：
177
如下代码使用partitionBy做repartition, partitionBy即根据相应字段的值按一定算法，把tuple分配到目标partition当中（Target Partition = hash(fields) % (number of target partition)）， 相同值会被 ...
分类：
其他好文 时间：
2018-03-23 16:23:04
阅读次数：
187
本例包括Storm Trident中shuffle与parallelismHint的使用。 代码当中包括注释 输出结果如下：一共14条 tuples，分布上0-4的partition里 <Fri Mar 23 14:17:13 CST 2018[partition1-Thread-146-b-0-e ...
分类：
其他好文 时间：
2018-03-23 15:19:54
阅读次数：
172
从storm到spark streaming，再到flink，流式计算得到长足发展， 依托于spark平台的spark streaming走出了一条自己的路，其借鉴了spark批处理架构，通过批处理方式实现了实时处理框架。为进一步了解spark streaming的相关内容，飞马网于3月20日晚邀请到历任百度大数据的高级工程师—王富平，在线上直播中，王老师针对spark streaming高级特性
分类：
其他好文 时间：
2018-03-21 21:14:25
阅读次数：
228
一、实时业务指标分析 1.业务 业务： 订单系统 >MQ >Kakfa >Storm 数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额 统计双十一当前的订单金额，订单数量，订单人数 订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品） ...
分类：
Web程序 时间：
2018-03-12 21:16:36
阅读次数：
229
一、kafka常用命令 1.创建topic // 如果配置了PATH可以省略相关命令路径，相关命令参数暂不深入，字面意思也可以大概推断。后续给出完整参数参考。 2.查看所有topic 3.发送消息 4.消费消息 // 可以在Mini2上消费，是分布式的 5.删除topic 6.查看topic详情 ...
分类：
其他好文 时间：
2018-03-11 00:09:29
阅读次数：
185
我们从零开始学习大数据技术，从java基础，到Linux技术涉猎，再深入到大数据技术的Hadoop、Spark、Storm技术，最后到大数据企业平台的搭建,层层递进，由点到面！希望技术大牛能过来指导学习。上一节了解Java基础语法，本节我们开始学习Java基础-运算符，将会围绕以下几个知识点进行展开学习：算术运算符赋值运算符比较运算符逻辑运算符位运算符三元运算符PS：开始之前我们先针对上节数据类型
分类：
编程语言 时间：
2018-03-10 18:12:15
阅读次数：
264
一、概述 1.kafka是什么 根据标题可以有个概念：kafka是storm的上游数据源之一，也是一对经典的组合，就像郭德纲和于谦 根据官网：http://kafka.apache.org/intro 的解释呢，是这样的： Apache Kafka® is a distributed streami ...
分类：
其他好文 时间：
2018-03-10 11:45:32
阅读次数：
223
