Java 是一门语言，JVM 是一个生态！ 当下，有越来越多的语言选择 JVM 作为虚拟机。比如我们熟知的：Scala、Kotlin、Ceylon、Xtend、Groovy、Clojure、Fantom等。但是在这众多语言中，使用 Java 的占据 70% 以上。 有人说，Java 已经不行了，Py ...
分类：
其他好文 时间：
2020-05-26 22:15:49
阅读次数：
102
（1）代码示例 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val env=St ...
分类：
其他好文 时间：
2020-05-26 22:09:36
阅读次数：
92
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
最近几年Lambda表达式风靡于编程界. 很多现代编程语言都把它作为函数式编程的基本组成部分. 基于JVM的编程语言如Scala,Groovy还有Clojure把它们作为关键部分集成在语言中.现在Java8也加入了它们的行列. 有趣的是,对于JVM来说,Lambda表达式是完全不可见的,并没有匿名函 ...
分类：
编程语言 时间：
2020-05-26 20:52:39
阅读次数：
90
shuffle 和 stage shuffle 是划分 DAG 中 stage 的标识,同时影响 Spark 执行速度的关键步骤. RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作.窄依赖跟宽依赖的区 ...
分类：
其他好文 时间：
2020-05-26 18:22:19
阅读次数：
71
分布式缓存 分布式缓存的思想在hadoop和spark中都有体现，Flink 提供的分布式缓存类似 Hadoop，目的是为了在分布式环境中让每一个 TaskManager 节点保存一份相同的数据或者文件，当前计算节点的 task 就像读取本地文件一样拉取这些配置。 比如在进行表与表 Join 操作时 ...
分类：
其他好文 时间：
2020-05-25 19:29:56
阅读次数：
60
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
跑spark job的时候碰到了错误： 这是因为nmPrivate目录没有权限访问引起的。 参考： "https://www.oschina.net/question/2288283_2134188" ...
分类：
其他好文 时间：
2020-05-25 09:22:14
阅读次数：
74
Scala 学习 样例类和模式匹配 1.样例类 样例类是Scala用来对对象进行模式匹配而并不用大量样板代码的方式。 样例类使用case作为修饰符，其特点如下： 1.添加一个跟类同名的工厂方法，用于对象构造 2.参数列表中参数隐式获得一个val前缀 3.编译器会添加一个copy方法用于制作修改过的拷 ...
分类：
其他好文 时间：
2020-05-25 00:04:56
阅读次数：
55
