本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等近些年来,开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目,关于流处理的大数据框架就有十几个之多,比如早期的ApacheSamza、ApacheStorm,以及这两年火爆的Spark以及Flink等。应该说,每个框架都有自己独特的地方,也都有自己的缺陷。面对这众多的流处理框架,我们应该如何选择呢?在本文汇
分类:
其他好文 时间:
2020-07-07 11:38:26
阅读次数:
67
一 批处理 文件内容: hello world hello scala hello flink 代码: import org.apache.flink.api.scala._ object WordCount { def main(args: Array[String]): Unit = { //创 ...
分类:
其他好文 时间:
2020-07-06 16:14:13
阅读次数:
56
==背景== 阿里云ECS服务器提示“ZooKeeper未授权访问高危风险” ==相关组件及版本== Linux:Centos 8.0 Zookeeper:3.5.6 Hadoop:2.8.3 Flink:1.10.0 ==Zookeeper ACL介绍== 网上随便找一个网站看看就应该可以了解了, ...
分类:
其他好文 时间:
2020-07-05 15:23:42
阅读次数:
207
前言 selenium在windows机器上运行,每次会启动界面,运行很不稳定。于是想到用chrome来了的headless无界面模式,确实方便了不少。为了提高自动化运行的效率和稳定性,于是把selenium自动化环境部署到linux服务器上,这样更方便。环境:centons 7.6python 3 ...
分类:
Web程序 时间:
2020-07-04 21:03:53
阅读次数:
85
DevOps 介绍 一、DevOps 介绍 1.1.1 DevOps 介绍 DevOps介绍 DevOps 是Development和Operations的组合,也就是开发和运维的简写。 1、DevOps集文化理念、实践与工具与一身,可以提高组织高速交付应用程序和服务的能力,与使用 传统软件开发和基 ...
分类:
其他好文 时间:
2020-07-04 01:35:41
阅读次数:
112
说点废话 当我们正常在界面系统使用selenium时,会感觉很爽,因为能清楚的看到我们代码的实现的过程,当遇到报错,也能相对来说缩小错误范围,一般都能很快的找到问题所在; 倘若我们想在Linux环境(无界面)中使用selenium,虽然在官网可以下载到linux环境下的chromedriver驱动文 ...
分类:
系统相关 时间:
2020-07-03 12:08:34
阅读次数:
75
原文:王知无 https://www.cnblogs.com/importbigdata/p/12178404.html 维表JOIN-绕不过去的业务场景 在Flink 流处理过程中,经常需要和外部系统进行交互,用维度表补全事实表中的字段。 例如:在电商场景中,需要一个商品的skuid去关联商品的一 ...
分类:
其他好文 时间:
2020-07-03 10:36:10
阅读次数:
58
转自 https://blog.csdn.net/qq_35904833/article/details/78190257 k8s环境部署及使用方式 ...
分类:
其他好文 时间:
2020-07-02 22:05:51
阅读次数:
54
docker: https://www.cnblogs.com/qjfoidnh/p/12685060.html 在Linux中使用selenium(环境部署) 1、安装chrome 用下面的命令安装Google Chrome yum install https://dl.google.com/li ...
分类:
系统相关 时间:
2020-07-01 20:23:28
阅读次数:
58
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flink 最大的亮点之一(其他的 ...