码迷,mamicode.com
首页 >  
搜索关键字:flink    ( 747个结果
Kafka+Flink 实现准实时异常检测系统
1.背景介绍异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防场景做***检测等等。根据业务要求的不同,流计算在其中扮演着不同的角色:既可以做在线的欺诈检测,也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。所谓准实时,即要求延迟在100ms以内
分类:其他好文   时间:2018-11-01 16:10:11    阅读次数:245
Flink on Yarn模式启动流程分析
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能 ...
分类:其他好文   时间:2018-10-31 14:00:35    阅读次数:154
Flink on Yarn模式启动流程源代码分析
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现,可能有的地方理解有误,请给予指正,多谢。 --> 1.命令行启动yarn sessi ...
分类:其他好文   时间:2018-10-31 13:58:08    阅读次数:235
Flink on Yarn模式启动流程源代码分析
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现,可能有的地方理解有误,请给予指正,多谢。 --> 1.命令行启动yarn sessi ...
分类:其他好文   时间:2018-10-31 13:55:25    阅读次数:205
Flink on Yarn模式启动流程分析
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能 ...
分类:其他好文   时间:2018-10-31 13:49:15    阅读次数:255
Flink window机制
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 问题 window是解决流计算中的什么问题? 怎么划分window?有哪几种window?window与时间属性之间的关系? window里面的数据何时被计算? window 何时被清除? 第一个问题 wind ...
分类:Windows程序   时间:2018-10-31 12:43:48    阅读次数:188
Flink window机制
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 问题 window是解决流计算中的什么问题? 怎么划分window?有哪几种window?window与时间属性之间的关系? window里面的数据何时被计算? window 何时被清除? 第一个问题 wind ...
分类:Windows程序   时间:2018-10-31 12:35:29    阅读次数:169
FLINK源代码调试方式
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 第一种,直接通过IDEA WINDOWS调试 前提是Flink所有依赖已经导入,直接在Test中打断点,然后直接Debug。 第二种,远程调试 1 设置DEBUG时候启动的jvm调试参数1.如果是yarn的模式 ...
分类:其他好文   时间:2018-10-31 12:33:59    阅读次数:127
FLINK源代码调试方式
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 第一种,直接通过IDEA WINDOWS调试 前提是Flink所有依赖已经导入,直接在Test中打断点,然后直接Debug。 第二种,远程调试 1 设置DEBUG时候启动的jvm调试参数1.如果是yarn的模式 ...
分类:其他好文   时间:2018-10-31 12:33:51    阅读次数:233
sparkSQL flinkSQL hiveSQL性能对比
最近在研究flink,发现较新版的flink支持sql,这下好了,我用spark两年了,对用法和性能算是踩过一些坑了。 听说flink挺快的,那么flinkSQL和sparkSQL到底哪个快呢? 想必很多人也想知道吧,那就拿数据说话(虽然不是自己做的基线测试,但好歹也找了好久) 下图是hive, s ...
分类:数据库   时间:2018-10-30 19:28:12    阅读次数:429
747条   上一页 1 ... 53 54 55 56 57 ... 75 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!