提交流程调用的关键方法链用户编写的程序逻辑需要提交给Flink才能得到执行。本文来探讨一下客户程序如何提交给Flink。鉴于用户将自己利用Flink的API编写的逻辑打成相应的应用程序包（比如Jar）然后提交到一个目标Flink集群上去运行是比较主流的使用场景，因此我们的分析也基于这一场景进行。...
分类：
Web程序 时间：
2016-07-19 10:48:58
阅读次数：
212
如何添加一个新的Operator 翻译自How to add a new Operator Java API中可以通过多种途径添加Operator 1. 在DataSet上，以已存在的Operator为基础，组合或具现化（speciallzation）而形成新的Operator 2. 设计新的自定义 ...
分类：
其他好文 时间：
2016-07-14 19:10:50
阅读次数：
258
简介 Husky是一个大数据分布式开发框架，用C++开发，因为粗粒度（coarse-grained）平台（如Spark，Hadoop，Flink）MR耗时太大，然后细粒度(fine-grained)平台（GraphX等）编程难度较大，同时细粒度在数据平台之间转移会很耗时。Husky就是在粗粒度和细粒 ...
分类：
系统相关 时间：
2016-07-14 01:18:28
阅读次数：
448
该文档翻译自Jobs and Scheduling 该文档简单描述了Flink是如何调度Job的，以及如何在JobManager上表现并跟踪Job状态。 一、调度 Flink通过任务槽（Task Slot）定义执行资源。每个TaskManager都有一或多个任务槽，每个任务槽都可以运行一个流水线并行 ...
分类：
其他好文 时间：
2016-07-13 01:10:24
阅读次数：
495
类型抽取和序列化 本文翻译自Type Extraction and Serialization Flink处理类型的方式比较特殊，包括它自己的类型描述，一般类型抽取和类型序列化框架。该文档描述这些概念并解释其机理。 Java API和Scala API处理类型信息的方式有根本性的区别，所以本文描述的 ...
分类：
其他好文 时间：
2016-07-10 23:31:15
阅读次数：
3267
数据流容错机制 该文档翻译自Data Streaming Fault Tolerance，文档描述flink在流式数据流图上的容错机制。 一、介绍 flink提供了可以一致地恢复数据流应用的状态的容错机制，该机制保证即使在错误发生后，反射回数据流记录的程序的状态操作最终仅执行一次。值得注意的是，该保 ...
分类：
其他好文 时间：
2016-07-10 15:20:38
阅读次数：
507
Flink一般架构和处理模型 本文翻译自General Architecture and Process Model 一、处理过程 当Flink系统启动时，首先启动JobManager和一至多个TaskManager。JobManager负责协调Flink系统，TaskManager则是执行并行程序 ...
分类：
其他好文 时间：
2016-07-10 15:11:35
阅读次数：
195
之前我们谈到了Flink通过自主管理内存的方式来，避免了让JVM管理内存带来的一些问题。自主管理内存之后，JVM中原生的类型也就不适合使用了。因此Flink也对Java的类型进行了扩展，这就是我们本节关注的内容。...
分类：
其他好文 时间：
2016-07-10 07:37:52
阅读次数：
282
先看 AbstractFetcher 这个可以理解就是，consumer中具体去kafka读数据的线程，一个fetcher可以同时读多个partitions的数据来看看 /** * Base class for all fetchers, which implement the connection... ...
分类：
其他好文 时间：
2016-07-06 21:32:24
阅读次数：
445
All transformations in Flink may look like functions (in the functional processing terminology), but are in fact stateful operators. You can make ever... ...
分类：
其他好文 时间：
2016-07-01 16:19:42
阅读次数：
234
