（1）scala与java都有7中数值类型：int、short、long、byte、float、double、boolean这7种，但是scala中这7种值类型是类，在java中属于基本类型，java中，数据类型分成基本类型和引用类型，scala中不区分。（2）scala中的变量或函数的类型总是写在 ...
分类：
编程语言 时间：
2020-01-26 00:48:16
阅读次数：
91
一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数 ...
分类：
其他好文 时间：
2020-01-25 15:37:40
阅读次数：
356
job是串行执行的， 执行完上一个才执行下一个 eg：Wordcount案例 val lines = sc.textFile("本地URL or HDFS URL")//详解见代码1 val words = lines.flatMap(line => line.split(" "))//也会返回一个 ...
分类：
其他好文 时间：
2020-01-25 00:56:57
阅读次数：
119
[TOC] SparkStreaming相关概念 概述 SparkStreaming主要用作对流数据的实时处理，比如：实时的 web 日志数据分析、实时追踪页面访问统计数据等。 流数据的特点有： 数据一直在变化 数据无法回退 数据始终源源不断涌进 Spark Streaming 是在 Spark 上 ...
分类：
其他好文 时间：
2020-01-24 22:24:29
阅读次数：
95
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：Ubuntu16.04； Spark 版本：2.1.0； Hadoop 版 ...
分类：
其他好文 时间：
2020-01-24 17:13:10
阅读次数：
113
一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 REPL ...
分类：
其他好文 时间：
2020-01-23 22:28:59
阅读次数：
170
厦门大学林子雨，赖永炫，陶继平 编著 《Spark 编程基础（Scala 版）》 教材配套 机房上机实验指南 实验 1 Linux 系统的安装和常用命令 （版本号：2018 年 7 月 19 日版本） （题目） 主讲教师：林子雨 厦门大学数据库实验室 二零一八年七月目录 目录 一、实验目的..... ...
分类：
系统相关 时间：
2020-01-23 09:45:51
阅读次数：
181
spark的安装很简单（教程） 1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 ...
分类：
其他好文 时间：
2020-01-22 20:10:05
阅读次数：
124
1. 计算级数请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 Sn = 2/1+3/2+4/3+......+n+1/n例如，若 q 的值为 50.0，则输出应为：Sn=50.416695。请将源文件保 ...
分类：
其他好文 时间：
2020-01-22 20:03:48
阅读次数：
165
上次是安装完成了，这次就来试试Spark的基本操作。 首先是运行Spark自带的实例SparkPi。 在配置好环境变量的时候可以直接运行，但可以看到虽然运行成功但信息太过复杂，所以检索之后—— 虽然计算结果有所偏差，但多少能证明Spark的计算能力可以使用。 第二个运行的就是和计算能力没太大关联的W ...
分类：
其他好文 时间：
2020-01-22 18:22:11
阅读次数：
53
