https://github.com/scalanlp/breeze/wiki/Linear-Algebra-Cheat-Sheethttps://docs.scipy.org/doc/numpy-1.13.0/reference/routines.linalg.htmlhttp://blog.cs ...
分类:
其他好文 时间:
2019-11-10 10:07:27
阅读次数:
88
Spark3.0 preview预览版可以下载使用,地址:https://archive.apache.org/dist/spark/spark-3.0.0-preview/,pom.xml也可以进行引用,如下: 注意:目前阿里云镜像部分包还没有(2019年11月10日,spark-launcher ...
分类:
其他好文 时间:
2019-11-10 09:25:19
阅读次数:
163
一:数组相关操作 定长数组 val array = Array[String]("a","b","c") //直接初始化数组的内容 println(array.mkString("|")) val array = new Array[String](2) //new一个长度为2的数据在通过更新的方法 ...
分类:
编程语言 时间:
2019-11-09 20:06:46
阅读次数:
91
scala的wordcount实例 package com.wondersgroup.myscala import scala.actors.{Actor, Future} import scala.collection.mutable.ListBuffer import scala.io.Sour ...
分类:
其他好文 时间:
2019-11-09 19:56:33
阅读次数:
99
安装scala 上传安装包 解压 配置scala相关的环境变量 验证scala安装是否成功 把scala分发给node2 node3 node4 分别给node2 node3 node4配置scala的环境变量,并使其生效 spark安装包下载地址:https://archive.apache.or ...
分类:
其他好文 时间:
2019-11-09 19:51:52
阅读次数:
84
RDD是分布式内存的一个抽象概念,是一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,能横跨集群所有节点并行计算,是一种基于工作集的应用抽象。 RDD底层存储原理:其数据分布存储于多台机器上,事实上,每个RDD的数据都以Block的形式存储于多台机器上,每个Executor会启动一个Blo ...
分类:
其他好文 时间:
2019-11-09 19:19:31
阅读次数:
127
1、scala的主构造器和辅助构造器,scale可以有多个辅助的构造器,但是只能有一个主构造器 package com.itstar.scala.test/** * 定义学生类并且使用了主构造器 * Scala里面只有一个主构造器,可以有多个辅助构造器 * @param stuName * @par ...
分类:
其他好文 时间:
2019-11-09 00:39:37
阅读次数:
95
1、scala的嵌套类也成为内部类 package com.itstar.scala.testimport scala.collection.mutable.ArrayBufferclass Student2 { private var stuName:String = "Tom" private ...
分类:
其他好文 时间:
2019-11-09 00:08:05
阅读次数:
108
1、首先是jdk的路径问题 为了和以后出现的hadoop,spark出现 路径带有空格导致 调用失败的情况, 直接把 jdk的路径 剪切到 没有空格的目录下。 D:\>echo %JAVA_HOME% C:\Java\jdk1.8.0_202 到这里,在cmd下,能 看到 scala -versio ...
1、定长数组Array scala> val a = new Array[Int](10)a: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0) Int类型的数组的默认值是0 scala> val a = new Array[String](10)a: ...
分类:
编程语言 时间:
2019-11-08 20:56:33
阅读次数:
81