Spark_飞机项目 首先将csv文件变成UTF-8 rdd 起始机场编号排名 机场数量/航线数量 计算最长的飞行航线 最大的边属性 找出最繁忙的机场 哪个机场到达航班最多 找出最重要的飞行航线 PageRank prege sampleRDD 找出最便宜的飞行航线 创建顶点 初始化源点(0) ...
分类:
其他好文 时间:
2019-08-11 01:20:44
阅读次数:
184
5.2. 映射 在Scala中,把哈希表这种数据结构叫做映射。 1.1.1. 构建映射 (1)构建映射格式 1、val map=Map(键 -> 值,键 -> 值....) 2、利用元组构建 val map=Map((键,值),(键,值),(键,值)....) 1.1.2. 获取和修改映射中的值 ( ...
分类:
其他好文 时间:
2019-08-10 12:06:15
阅读次数:
76
5. 数组、映射、元组、集合 5.1. 数组 5.1.1. 定长数组和变长数组 (1)定长数组定义格式: val arr=new Array[T](数组长度) val arr=Array(1,2,3,4,5) (2)变长数组定义格式: valarr = ArrayBuffer[T]() 注意需要导包 ...
分类:
编程语言 时间:
2019-08-09 23:23:38
阅读次数:
124
1. Scala编译器安装 1.1. 安装JDK 因为Scala是运行在JVM平台上的,所以安装Scala之前要安装JDK。 1.2. 安装Scala 1.2.1. Windows安装Scala编译器 访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包, ...
分类:
其他好文 时间:
2019-08-09 01:29:59
阅读次数:
85
join leftOuterjoin rightOuterJoin cogroup scala> var arr = Array(("zhangsan",200),("lisi",300),("wangwu",350)) arr: Array[(String, Int)] = Array((zhan ...
分类:
其他好文 时间:
2019-08-06 15:29:53
阅读次数:
76
全称为 ,是 项目中的标准构建工具,类似于 下的 中的 。 项目的构建 项目依赖自动化管理 提供统一的工程结构 提供交互式的 在使用过程中的一些奇怪问题 作者在编译某个项目时,需要用到 工具,结果在编译过程中报出错误,如下所示. Error during sbt execution: No Scal ...
分类:
其他好文 时间:
2019-08-02 13:09:47
阅读次数:
205
scala下载地址:https://www.scala-lang.org/download/ spark下载地址:https://spark.apache.org/downloads.html 安装步骤 安装scala 配置环境变量 vi /etc/profile 使环境变量生效 安装spark 解 ...
分类:
其他好文 时间:
2019-08-02 11:01:07
阅读次数:
156
scala常见笔试题(囊括了scala的精髓) scala最近几年很火,主要是因为其在大数据领域的应用。 下面这些面试题,基本上是scala函数式编程的精髓。 Q1 var,val和def三个关键字之间的区别? 答:var是变量声明关键字,类似于Java中的变量,变量值可以更改,但是变量类型不能更改 ...
分类:
其他好文 时间:
2019-07-30 20:05:27
阅读次数:
797
In Scala, constructors other than the primary constructor are called auxiliary constructors. Auxiliary constructors in Scala start with def this(...). ...
分类:
其他好文 时间:
2019-07-28 13:40:08
阅读次数:
108
大数据技术之Scala 第一篇:Scala编程语言 一、Scala语言基础 1、Scala简介 Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。它也能运行于CLDC配置的Java ME ...
分类:
其他好文 时间:
2019-07-26 09:21:14
阅读次数:
106