1.背景介绍异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防场景做***检测等等。根据业务要求的不同,流计算在其中扮演着不同的角色:既可以做在线的欺诈检测,也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检测系统。所谓准实时,即要求延迟在100ms以内
分类:
其他好文 时间:
2018-11-01 16:10:11
阅读次数:
245
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能 ...
分类:
其他好文 时间:
2018-10-31 14:00:35
阅读次数:
154
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现,可能有的地方理解有误,请给予指正,多谢。 --> 1.命令行启动yarn sessi ...
分类:
其他好文 时间:
2018-10-31 13:58:08
阅读次数:
235
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现,可能有的地方理解有误,请给予指正,多谢。 --> 1.命令行启动yarn sessi ...
分类:
其他好文 时间:
2018-10-31 13:55:25
阅读次数:
205
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能 ...
分类:
其他好文 时间:
2018-10-31 13:49:15
阅读次数:
255
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 问题 window是解决流计算中的什么问题? 怎么划分window?有哪几种window?window与时间属性之间的关系? window里面的数据何时被计算? window 何时被清除? 第一个问题 wind ...
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 问题 window是解决流计算中的什么问题? 怎么划分window?有哪几种window?window与时间属性之间的关系? window里面的数据何时被计算? window 何时被清除? 第一个问题 wind ...
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 第一种,直接通过IDEA WINDOWS调试 前提是Flink所有依赖已经导入,直接在Test中打断点,然后直接Debug。 第二种,远程调试 1 设置DEBUG时候启动的jvm调试参数1.如果是yarn的模式 ...
分类:
其他好文 时间:
2018-10-31 12:33:59
阅读次数:
127
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 第一种,直接通过IDEA WINDOWS调试 前提是Flink所有依赖已经导入,直接在Test中打断点,然后直接Debug。 第二种,远程调试 1 设置DEBUG时候启动的jvm调试参数1.如果是yarn的模式 ...
分类:
其他好文 时间:
2018-10-31 12:33:51
阅读次数:
233
最近在研究flink,发现较新版的flink支持sql,这下好了,我用spark两年了,对用法和性能算是踩过一些坑了。 听说flink挺快的,那么flinkSQL和sparkSQL到底哪个快呢? 想必很多人也想知道吧,那就拿数据说话(虽然不是自己做的基线测试,但好歹也找了好久) 下图是hive, s ...
分类:
数据库 时间:
2018-10-30 19:28:12
阅读次数:
429