1 Scala继承的基本语法 class 子类名 extends 父类名 { 类体 } class Person { var name : String = _ var age : Int = _ def showInfo(): Unit = { println("学生信息如下：") println ...
分类：
其他好文 时间：
2020-07-07 19:26:14
阅读次数：
68
1 Scala引入包基本介绍 Scala引入包也是使用import, 基本的原理和机制和Java一样，但是Scala中的import功能更加强大，也更灵活。 因为Scala语言源自于Java，所以java.lang包中的类会自动引入到当前环境中，而Scala中的scala包和Predef包的类也会自 ...
分类：
其他好文 时间：
2020-07-07 17:55:27
阅读次数：
43
1 包对象 基本介绍：包可以包含类、对象和特质trait，但不能包含函数/方法或变量的定义。这是Java虚拟机的局限。为了弥补这一点不足，scala提供了包对象的概念来解决这个问题。 package com.atguigu { //每个包都可以有一个包对象。你需要在父包(com.atguigu)中定 ...
分类：
其他好文 时间：
2020-07-07 17:44:36
阅读次数：
61
1 概念的说明 1）在scala中，方法和函数几乎可以等同(比如他们的定义、使用、运行机制都一样的)，只是函数的使用方式更加的灵活多样。 2）函数式编程是从编程方式(范式)的角度来谈的，可以这样理解：函数式编程把函数当做一等公民，充分利用函数、 支持的函数的多种使用方式。 3）面向对象编程是以对象为 ...
分类：
其他好文 时间：
2020-07-07 13:35:12
阅读次数：
58
1.分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者 HDFS 中数据的时候, 会尽量的保持 RDD 的分区和数据源的分 ...
分类：
其他好文 时间：
2020-07-07 13:11:09
阅读次数：
164
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
1 标识符概念 1) Scala 对各种变量、方法、函数等命名时使用的字符序列称为标识符 2) 凡是自己可以起名字的地方都叫标识符 2 标识符的命名规则 Scala中的标识符声明，基本和Java是一致的，但是细节上会有所变化。 1) 首字符为字母，后续字符任意字母和数字，美元符号，可后接下划线_ 2 ...
分类：
其他好文 时间：
2020-07-06 21:37:40
阅读次数：
78
1、Spark是什么 Spark是一个高性能内存处理引擎，它提供了基于RDD的数据抽象，能够灵活处理分布式数据集 2、Spark核心概念 RDD：弹性分布式数据集，它是一个只读的、带分区的数据集合，并支持多种分布式算子。由下面5部分构成： 一组partition 每个partition的计算函数 所 ...
分类：
其他好文 时间：
2020-07-06 19:30:48
阅读次数：
57
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集 ...
分类：
其他好文 时间：
2020-07-06 16:20:23
阅读次数：
61
一 批处理 文件内容： hello world hello scala hello flink 代码： import org.apache.flink.api.scala._ object WordCount { def main(args: Array[String]): Unit = { //创 ...
分类：
其他好文 时间：
2020-07-06 16:14:13
阅读次数：
56
