DDK提供了两种链表的数据结构,双向链表和单向链表,其定义如下: typedef struct _LIST_ENTRY { struct _LIST_ENTRY *Flink; struct _LIST_ENTRY *Blink; } LIST_ENTRY,*PLIST_ENTRY; typedef ...
分类:
其他好文 时间:
2017-08-16 14:01:18
阅读次数:
284
重点组件:HDFS:分布式文件系统MAPREDUCE:分布式运算程序开发框架Hive:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具Hbase:基于Hadoop的分布式海量数据库ZOOKEEPER:分布式协调服务基础组件Mahout:基于mapreduce/Spark/flink等分布式运算框架的机器学习算法库Ooz..
分类:
其他好文 时间:
2017-07-26 21:53:45
阅读次数:
180
Apache Flink是新一代的分布式流式数据处理框架,它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中,Flink利用Apache Kafka作为上下游的输入输出十分常见,本文将给出一个可运行的实际例子来集成两者。 1. 目 ...
分类:
其他好文 时间:
2017-07-23 21:11:35
阅读次数:
932
使用方式, dataStream.coGroup(otherStream) .where(0).equalTo(1) .window(TumblingEventTimeWindows.of(Time.seconds(3))) .apply (new CoGroupFunction () {...})... ...
分类:
其他好文 时间:
2017-07-21 13:23:46
阅读次数:
417
分布式系统实践 1. 给 spark 开发者介绍下Flink :Flink vs Spark http://dwz.cn/6hnu9B 摘要: 当Spark如火如荼的时候, 天上突然掉下了一个Flink. 这篇文章简要的对Spark和Flink进行了对比, 帮助大家认识Flink. 2. sysbe ...
分类:
其他好文 时间:
2017-07-14 19:30:50
阅读次数:
129
Flink原理与实现:架构和拓扑概览架构要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是Flink集群启动后架构图。当Flink集群启动后,首先会启动一个JobManger和一个或多个的TaskManag..
分类:
其他好文 时间:
2017-07-14 16:43:32
阅读次数:
386
Around 2009 the Stratosphere research project started at the TU Berlin which a few years later was set to become the Apache Flink project. Often compa ...
分类:
其他好文 时间:
2017-06-14 13:04:01
阅读次数:
160
https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/connectors/kafka.html 使用的方式, DataStream stream = ...; FlinkKafkaProducer010Configurati... ...
分类:
其他好文 时间:
2017-06-07 12:40:42
阅读次数:
363
windowing https://github.com/apache/flink/tree/master/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/windowing KeyGroupStreamPartit ...
分类:
其他好文 时间:
2017-06-05 10:15:19
阅读次数:
110
下面文档是今天早上翻译的,因为要上班,时间比较仓促,有些部分没有翻译,请见谅。 2017年06月01日儿童节 Apache Flink 社区正式发布了 1.3.0 版本。此版本经历了四个月的开发,共解决了680个issues。Apache Flink 1.3.0 是 1.x.y 版本线上的第四个主要 ...
分类:
Web程序 时间:
2017-06-04 18:45:35
阅读次数:
190