由于去除跨站XSS的干扰,在添加LOGO类型的友链时,LOGO图片的存放地址flink在特殊范围内"lixnk",从而无法正常显示LOGO ...
分类:
其他好文 时间:
2017-03-17 23:29:48
阅读次数:
199
参考,Flink - Generating Timestamps / Watermarks watermark,只有在有window的情况下才用到,所以在window operator前加上assignTimestampsAndWatermarks即可 不一定需要从source发出 1. 首先,so... ...
分类:
其他好文 时间:
2017-03-16 18:42:11
阅读次数:
311
DataStream API所编写的流处理应用程序在生成作业图(JobGraph)并提交给JobManager之前,会预先生成流图(StreamGraph)。
分类:
其他好文 时间:
2017-02-06 11:17:09
阅读次数:
312
1.hadoop,spark,Flink的比较 MapReduce: 分布式的计算框架 -> Hive 问题: shuffle:大文件的排序+读写磁盘+网络传输 => 比较慢 只有两种执行算子/API: MapTask(数据转换+过滤)和ReduceTask(数据聚合) ==> 定制化稍微有点差 不 ...
分类:
其他好文 时间:
2017-02-03 12:39:08
阅读次数:
158
新的一年,新的开始,新的习惯,现在开始。 1.简介 Flink是德国一家公司名为dataArtisans的产品,2016年正式被apache提升为顶级项目(地位同spark、storm等开源架构)。并且在2016年里,共发布了包括1.0.0版本在内的10个版本,发展速度可想而知。这次学习的是Flin ...
今天我们讲spark streaming的应用,这个是实时处理的,类似于Storm以及Flink相关的知识点, 说来也巧,今天的自己也去听了关于Flink的相关的讲座,可惜自己没有听得特别清楚,好像是 spark streaming与flink是竞争关系,好了,我们进入今天的主题吧 1.一般会做用户 ...
分类:
其他好文 时间:
2017-01-19 22:51:44
阅读次数:
233
Flink resource manager的作用如图, FlinkResourceManager /** * * Worker allocation steps * * * The resource manager decides to request more workers. This can... ...
分类:
其他好文 时间:
2016-12-30 16:36:54
阅读次数:
215
当前Flink将迭代的重心集中在批处理上,之前我们谈及了批量迭代和增量迭代主要是针对批处理(DataSet)API而言的,并且Flink为批处理中的迭代提供了针对性的优化。但是对于流处理(DataSt...
分类:
其他好文 时间:
2016-11-30 15:00:19
阅读次数:
430
在Flink – Checkpoint 没有描述了整个checkpoint的流程,但是对于如何生成snapshot和恢复snapshot的过程,并没有详细描述,这里补充 StreamOperator /** * Basic interface for stream operators. Implem... ...
分类:
其他好文 时间:
2016-11-26 02:46:18
阅读次数:
299
public class StreamTaskState implements Serializable, Closeable { private static final long serialVersionUID = 1L; private StateHandle operatorState; ... ...
分类:
其他好文 时间:
2016-11-26 02:27:06
阅读次数:
149