本地scala version为2.11.8，spark为2.4.0版本 于是修改dr-elephant/build.sbt scalaVersion := "2.11.8" 修改dr-elephant/compile.conf hadoop_version=2.8.4 spark_version= ...
分类：
其他好文 时间：
2020-06-11 13:42:28
阅读次数：
100
第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类：
其他好文 时间：
2020-06-10 23:09:12
阅读次数：
145
RichFunction 主要有3个方法 open，close，getRuntimeContext public interface RichFunction extends Function { void open(Configuration parameters) throws Exceptio ...
分类：
其他好文 时间：
2020-06-07 19:15:41
阅读次数：
158
例如在scala中的oject写个方法返回一个字符串. 该方法在java代码中使用. 好处: scala支持多行字符, 以及字符串插值 Scala和Java方法的相互调用https://blog.csdn.net/u010398771/article/details/78885009 ...
分类：
编程语言 时间：
2020-06-06 13:16:42
阅读次数：
119
原因 混合java 和scala 无法编译 解决 右键项目 > properties > scala Compiler >勾选Use Project Setting > Scala Installation > Fixed Scala Installation(对应版本)(built-in) > B ...
分类：
系统相关 时间：
2020-06-06 09:27:26
阅读次数：
114
直接上代码。 Vue+Sass，在_function.scss中写入，然后对对应的页面需要import即可(或者全局引入) $designWidth: 750; @function remVal($px) { @if unitless($px) { @return $px * $designWidt ...
分类：
其他好文 时间：
2020-06-05 14:56:36
阅读次数：
106
零、资料 1. 详解JS函数柯里化 ； 2. 函数式编的JS: curry ； 一、基础概念 维基百科上说道：柯里化，英语：Currying(果然是满满的英译中的既视感)，是把接受多个参数的函数变换成接受一个单一参数（最初函数的第一个参数）的函数，并且返回接受余下的参数而且返回结果的新函数的技术。 ...
分类：
Web程序 时间：
2020-06-03 15:51:38
阅读次数：
67
静态属性和静态方法 基本介绍 回顾下Java的静态概念 静态方法：public static 返回值类型 方法名(参数列表) {方法体} 静态属性：public static 属性名... 说明: Java中静态方法并不是通过对象调用的，而是通过类对象调用的，所以静态操作并不是面向对象的。 Scal ...
分类：
其他好文 时间：
2020-06-01 20:39:29
阅读次数：
61
Spark提供的主要抽象是resilient distributed dataset（RDD） 弹性分布式数据集，它是跨集群节点划分的元素的集合，可以并行操作。通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还 ...
分类：
编程语言 时间：
2020-05-31 16:03:22
阅读次数：
92
