目录包括运行流程图常用术语、执行原理、调度算法、容错及HA、监控 ...
分类：
其他好文 时间：
2020-01-08 14:11:33
阅读次数：
99
Scala为Java开发提供了轻量级的代码选项，但是学习过程可能会很艰难。了解有关Scala的知识以及是否值得采用。 基于Java的语言通常涉及冗长的语法和特定于领域的语言，用于测试，解析和数值计算过程。这些事情可能是开发人员的祸根，因为成堆的重复代码需要开发人员花费更多的时间进行梳理才能发现错误。 ...
分类：
编程语言 时间：
2020-01-08 12:27:03
阅读次数：
105
Flink第一章 【录播】01.体验flink-安装配置-启动(16分钟) 免费试学 【录播】02.启动flink-scala-shell读取文件实现打印(10分钟) 【录播】03.使用flink scala shell实现word count(16分钟) 【录播】04.使用静态数据模拟流操作fro ...
分类：
其他好文 时间：
2020-01-07 20:09:20
阅读次数：
453
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统，接着由 Spark Streaming 消费 Kafka 中的消息，同时消费记录由 Zookeeper 集群统一管理，这样即使 Kaf ...
分类：
其他好文 时间：
2020-01-07 11:44:25
阅读次数：
100
一、安装 kafka可以通过官网下载：https://kafka.apache.org/downloads kafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。 使用tar -xzvf kafka_2.12-2.4 ...
分类：
其他好文 时间：
2020-01-07 00:32:37
阅读次数：
159
1、基本组件栈 了解Spark的朋友会发现Flink的架构和Spark是非常类似的，在整个软件架构体系中，同样遵循着分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。 https://mmbiz.qpic.cn/mmbiz_png/mqibsuEhdU ...
分类：
其他好文 时间：
2020-01-06 22:31:20
阅读次数：
143
api差异参考官网地址：https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20 1.SparkSession is now the new entry point ...
分类：
其他好文 时间：
2020-01-06 19:23:38
阅读次数：
87
想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - ...
分类：
其他好文 时间：
2020-01-05 16:01:59
阅读次数：
117
Leetcode Solution 久违的空闲周末, 久违的周赛 昨天晚上把键盘ESC和Caps互相映射了一下, 导致今天打码卡手, 烦 总结 0. 用java做周赛的话, 就有点太慢了, 两部分原因: 记不住; 语法罗嗦 以后写代码多记忆一下; 试试scala 1. PriorityQueue用法 ...
分类：
其他好文 时间：
2020-01-05 13:31:16
阅读次数：
63
美团 R 语言数据运营实战 2018年08月02日 作者: 喻灿 刘强 文章链接 3689字 8分钟阅读 一、引言 近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益 ...
分类：
编程语言 时间：
2020-01-05 11:29:38
阅读次数：
115
