1．Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 }{ "id":2, "name":"Bob","age":29 }{ "id":3 , "na ...
分类：
数据库 时间：
2020-02-16 11:31:05
阅读次数：
164
package com.hollysys.spark import java.util import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SQLContext, SparkSession} /** * Crea ...
分类：
其他好文 时间：
2020-02-16 00:54:58
阅读次数：
125
一、大数据spark 补写实验报告 学习 python 二、《一线架构师实践指南》阅读 阅读了最后一章 ...
分类：
其他好文 时间：
2020-02-15 23:20:51
阅读次数：
77
实验5-Spark SQL编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 1．Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":3 ...
分类：
其他好文 时间：
2020-02-15 20:27:52
阅读次数：
119
实验 2 Scala 编程初级实践 1、请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 ...
分类：
其他好文 时间：
2020-02-15 18:43:04
阅读次数：
158
Spark RDD五大特性 1、RDD由一组partition组成 2、每一个分区由一个task来处理 3、RDD之间有一些列依赖关系 4、分区类算子必须作用在kv格式得RDD上 5、spark为task执行提供了最佳计算位置，尽量将task发送到数据所在节点执行 spark 快的原因 1、spar ...
分类：
其他好文 时间：
2020-02-15 15:21:21
阅读次数：
73
目录： 一、官网下载：（各种版本） 二、百度网盘下载：（scala-2.11.8.tgz） 三、安装教程 一、从官网下载操作步骤： 1、首先进入官网下载地址：https://www.scala-lang.org/download/ 进入官网，一直向下滑，直到看到下面这个界面： 2、按上图操作后进入下 ...
分类：
其他好文 时间：
2020-02-15 09:58:11
阅读次数：
256
因为重新装了系统，导致之前虚拟机及ubuntu系统环境都没有了。因为马上要开学了，学习大数据环境一定是必备的，今天无论如何都要安装好环境。 最开始学习hadoop的时候，我就自己装过虚拟机还有阿里云esc服务器环境，但是只有云服务器安装成功了。但在具体使用过程中，发现纯命令行的界面以及云服务器的 网 ...
分类：
其他好文 时间：
2020-02-14 22:54:00
阅读次数：
75
1、spark中默认的分区器： Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。 只有Key-Value类型的RDD才有分区器的 ...
分类：
其他好文 时间：
2020-02-14 22:47:17
阅读次数：
75
一、大数据spark 跟进scala的知识点学习。 视频号： av64039811 二、《一线架构师实践指南》阅读 阅读了第十六章 故事：困扰已久的非功能问题 ...
分类：
其他好文 时间：
2020-02-14 22:27:43
阅读次数：
86
