窗口(Window) 本文翻译自文档Windows Flink使用窗口的概念,根据element的时间戳或者其他指标,将可能无限的DataStream分割为有限的数据切片(slice)。我们在处理无限数据流以及进行聚合element的transformation时需要此种窗口分割。 注意:我们在此文 ...
分类:
编程语言 时间:
2016-08-16 01:52:15
阅读次数:
330
转换(Transformation),是生成、修改 或者 传递数据 的资料库对象。相当于封装了函数,利用输入和输出端口进行数据转换操作。 转换类型 积极转换(Active):可以更改通过它来传递的数据行数,例如“过滤器”组件,输入时数据量与输出时不一样。 被动转换(Passive):不能更改通过它来... ...
分类:
其他好文 时间:
2016-08-10 21:08:29
阅读次数:
163
DataStream API编程指导 文档翻译自Flink DataStream API Programming Guide Flink中的DataStream程序是实现在数据流上的transformation(如filtering,updating state, defining windows, ...
分类:
编程语言 时间:
2016-08-02 21:03:00
阅读次数:
732
首先,关于spark算子的分类,详细见http://www.cnblogs.com/zlslch/p/5723857.html 1、Transformation 变换/转换算子 1、map算子 2、flatMap算子 3、mapPartitions算子 4、union算子 5、cartesian算子 ...
分类:
Web程序 时间:
2016-07-31 22:13:45
阅读次数:
311
Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。 Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真 ...
分类:
Web程序 时间:
2016-07-31 21:59:35
阅读次数:
1482
如果程序中,对某一个RDD,基于它进行了多次transformation或者action操作。那么就非常有必要对其进行持久化操作,以避免对一个RDD反复进行计算。 此外,如果要保证在RDD的持久化数据可能丢失的情况下,还要保证高性能,那么可以对RDD进行Checkpoint操作。(也就是多次用到中间 ...
分类:
其他好文 时间:
2016-07-13 22:46:19
阅读次数:
204
http://acm.hdu.edu.cn/showproblem.php?pid=4578 题目大意:对于一个给定序列,序列内所有数的初始值为0,有4种操作。1:区间(x, y)内的所有数字全部加上C;2:区间(x, y)内所有数字全部乘C; 3:区间(x, y)内的所有数字全部重置为C; 4:输 ...
分类:
其他好文 时间:
2016-07-13 01:08:41
阅读次数:
199
VMware提供了三种将虚拟网卡和物理网卡捆绑起来的方式,即桥接(Bridge)模式,网络地址转换(Network Address Transformation, NAT)模式和主机(Host Only)模式。 三种模式区别,参见 关于三种模式的区别,可以参考SophiaWang的这篇博文(http ...
【图像处理】透视变换 Perspective Transformation 透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane),也称作投影映射(Projective Mapping)。通用的变换公式为: u,v是原始图片左边,对 ...
分类:
其他好文 时间:
2016-07-04 17:04:44
阅读次数:
432
面数控制, 以三角面计算 不要超过4边的面 光滑组,法线 单位CM,单位比例 中心点 3DMax:Reset Transform Maya:Freeze Transformation 帧率:30帧 不要使用虚拟体 CS骨骼与Bone骨骼, 数量控制在30-50 不支持约束动画 不支持顶点动画 可以使 ...
分类:
其他好文 时间:
2016-07-04 10:07:50
阅读次数:
131