类和对象 在类定义中，有字段filed和方法method，统称为成员member，通过val和var定义字段指定对象的变量。通过def定义方法。（和Python一样）实例一个类后，会指派一些内存来保存对象的状态图。个人理解对通过地址间映射，有一块内存保存值。 对字段声明私有。在var、val前加。不 ...
分类：
其他好文 时间：
2020-06-13 13:22:18
阅读次数：
51
第一步 在pom.xml中添加 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.3</version> </de ...
分类：
其他好文 时间：
2020-06-13 12:39:49
阅读次数：
172
本地scala version为2.11.8，spark为2.4.0版本 于是修改dr-elephant/build.sbt scalaVersion := "2.11.8" 修改dr-elephant/compile.conf hadoop_version=2.8.4 spark_version= ...
分类：
其他好文 时间：
2020-06-11 13:42:28
阅读次数：
100
第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类：
其他好文 时间：
2020-06-10 23:09:12
阅读次数：
145
前言 上周分享文档中遇到几个关键名称，纯函数、高阶函数、记忆函数、偏函数....，这里做一下解析与举例 纯函数 简介 纯函数是函数式编程中非常重要的一个概念，简单来说，就是一个函数的返回结果只依赖于它的参数，并且在执行过程中没有副作用，我们就把这个函数叫做纯函数 定义 一个函数，如果符合以下两个特点 ...
分类：
Web程序 时间：
2020-06-08 10:55:08
阅读次数：
56
RichFunction 主要有3个方法 open，close，getRuntimeContext public interface RichFunction extends Function { void open(Configuration parameters) throws Exceptio ...
分类：
其他好文 时间：
2020-06-07 19:15:41
阅读次数：
158
例如在scala中的oject写个方法返回一个字符串. 该方法在java代码中使用. 好处: scala支持多行字符, 以及字符串插值 Scala和Java方法的相互调用https://blog.csdn.net/u010398771/article/details/78885009 ...
分类：
编程语言 时间：
2020-06-06 13:16:42
阅读次数：
119
原因 混合java 和scala 无法编译 解决 右键项目 > properties > scala Compiler >勾选Use Project Setting > Scala Installation > Fixed Scala Installation(对应版本)(built-in) > B ...
分类：
系统相关 时间：
2020-06-06 09:27:26
阅读次数：
114
直接上代码。 Vue+Sass，在_function.scss中写入，然后对对应的页面需要import即可(或者全局引入) $designWidth: 750; @function remVal($px) { @if unitless($px) { @return $px * $designWidt ...
分类：
其他好文 时间：
2020-06-05 14:56:36
阅读次数：
106
定义 本质是函数，用来装饰其他函数（为其他函数添加附加功能）。通俗来讲：高阶函数 + 嵌套函数 = 装饰器 原则 1.不能修改被装饰的函数的源码 2.函数的调用方式也不能被修改 现存在一个函数 foo()， import time def foo(): time.sleep(1) print('in ...
分类：
其他好文 时间：
2020-06-01 22:19:04
阅读次数：
68
