码迷,mamicode.com
首页 >  
搜索关键字:scala bigdata 大數據 spark    ( 10680个结果
numpy包中,与线性代数相关的模块——linalg(利那隔)
https://github.com/scalanlp/breeze/wiki/Linear-Algebra-Cheat-Sheethttps://docs.scipy.org/doc/numpy-1.13.0/reference/routines.linalg.htmlhttp://blog.cs ...
分类:其他好文   时间:2019-11-10 10:07:27    阅读次数:88
Spark3.0 preview预览版尝试GPU调用(本地模式不支持GPU)
Spark3.0 preview预览版可以下载使用,地址:https://archive.apache.org/dist/spark/spark-3.0.0-preview/,pom.xml也可以进行引用,如下: 注意:目前阿里云镜像部分包还没有(2019年11月10日,spark-launcher ...
分类:其他好文   时间:2019-11-10 09:25:19    阅读次数:163
从零学scala(二)数组相关操作、映射和元组
一:数组相关操作 定长数组 val array = Array[String]("a","b","c") //直接初始化数组的内容 println(array.mkString("|")) val array = new Array[String](2) //new一个长度为2的数据在通过更新的方法 ...
分类:编程语言   时间:2019-11-09 20:06:46    阅读次数:91
wordcount实例
scala的wordcount实例 package com.wondersgroup.myscala import scala.actors.{Actor, Future} import scala.collection.mutable.ListBuffer import scala.io.Sour ...
分类:其他好文   时间:2019-11-09 19:56:33    阅读次数:99
25.Spark下载源码和安装和使用
安装scala 上传安装包 解压 配置scala相关的环境变量 验证scala安装是否成功 把scala分发给node2 node3 node4 分别给node2 node3 node4配置scala的环境变量,并使其生效 spark安装包下载地址:https://archive.apache.or ...
分类:其他好文   时间:2019-11-09 19:51:52    阅读次数:84
Spark之RDD的定义及五大特性
RDD是分布式内存的一个抽象概念,是一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,能横跨集群所有节点并行计算,是一种基于工作集的应用抽象。 RDD底层存储原理:其数据分布存储于多台机器上,事实上,每个RDD的数据都以Block的形式存储于多台机器上,每个Executor会启动一个Blo ...
分类:其他好文   时间:2019-11-09 19:19:31    阅读次数:127
Scala--构造器
1、scala的主构造器和辅助构造器,scale可以有多个辅助的构造器,但是只能有一个主构造器 package com.itstar.scala.test/** * 定义学生类并且使用了主构造器 * Scala里面只有一个主构造器,可以有多个辅助构造器 * @param stuName * @par ...
分类:其他好文   时间:2019-11-09 00:39:37    阅读次数:95
Scala--嵌套类
1、scala的嵌套类也成为内部类 package com.itstar.scala.testimport scala.collection.mutable.ArrayBufferclass Student2 { private var stuName:String = "Tom" private ...
分类:其他好文   时间:2019-11-09 00:08:05    阅读次数:108
windows下jdk、hadoop、Scala、Spark的调试环境配置(jdk路径的空格问题, /tmp/hive on HDFS should be writable问题)
1、首先是jdk的路径问题 为了和以后出现的hadoop,spark出现 路径带有空格导致 调用失败的情况, 直接把 jdk的路径 剪切到 没有空格的目录下。 D:\>echo %JAVA_HOME% C:\Java\jdk1.8.0_202 到这里,在cmd下,能 看到 scala -versio ...
分类:Windows程序   时间:2019-11-08 23:52:32    阅读次数:135
Scala--数组类型
1、定长数组Array scala> val a = new Array[Int](10)a: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0) Int类型的数组的默认值是0 scala> val a = new Array[String](10)a: ...
分类:编程语言   时间:2019-11-08 20:56:33    阅读次数:81
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!