8-1 函数的一些重要特性 8-2 lambda表达式 8-3 偏函数 ...
分类：
编程语言 时间：
2020-02-14 20:37:59
阅读次数：
60
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 二、java独立应用编程 1、安装maven ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出a ...
分类：
编程语言 时间：
2020-02-14 10:43:07
阅读次数：
103
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 1、安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内 ...
分类：
其他好文 时间：
2020-02-13 22:31:48
阅读次数：
103
安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后，执行如下命令拷贝至 ...
分类：
其他好文 时间：
2020-02-13 19:32:48
阅读次数：
73
一、option类型 定义：通过该类型可以有效的避免空指针异常 1 def func(a: Double, b: Double): Option[Double] = { 2 if (b != 0) { 3 //没错的情况下 返回值用Some函数包起来 4 Some(a / b) 5 } else { ...
分类：
其他好文 时间：
2020-02-13 19:06:21
阅读次数：
59
一、大数据spark 跟着b站的尚硅谷大数据往后学习了8个知识点。 同时把scala的知识点学习了一下。 视频号： av62992342 av64039811 内容：Spark内核 课程学习进度：87/126 二、《一线架构师实践指南》阅读 阅读了第十四章 物理架构、运行架构、开发架构 ...
分类：
其他好文 时间：
2020-02-12 22:28:24
阅读次数：
64
把昨天剩余的Scala基础编程做了，也按要求做了下一个实验的内容 3. 统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要 ...
分类：
其他好文 时间：
2020-02-12 22:11:42
阅读次数：
162
spark的udf和udaf的注册 一、udf 二、udaf 1. 弱类型的自定义聚合函数 是不安全的 1. 强类型的自定义聚合函数 程序运行时候会检查数据的类型，是安全的 ...
分类：
其他好文 时间：
2020-02-12 22:10:58
阅读次数：
135
实验2-Scala编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 模拟图形绘制 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点，其混入了 D ...
分类：
其他好文 时间：
2020-02-12 22:04:19
阅读次数：
62
