1.配置Scala环境所需要的所有命令（Ubuntu系统下） 其中scala-2.13.1版本在官网：https://www.scala-lang.org/download/ 下载 2.出现该提示则配置成功。 然后进行简单的测试： Scala环境配置完成。 3.实验 1. 计算级数 请用脚本的方式编 ...
分类：
系统相关 时间：
2020-01-31 19:17:31
阅读次数：
188
MBP本机安装的是scala 2.11.12，通过命令行启动scala报错如下 报错之后，scala还是能启动 [@wooluwakerdeMBP:2.11.12]$ scala Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, ...
分类：
其他好文 时间：
2020-01-31 18:57:15
阅读次数：
87
spark graphx图操作 import org.apache.spark.graphx.{Edge, Graph, VertexId} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContex ...
分类：
其他好文 时间：
2020-01-31 18:51:08
阅读次数：
65
访问菜鸟教程，自行安装scala(网址：https://www.runoob.com/scala/scala-install.html) 首先查看了自己虚拟机上的java版本以及javac的版本，做好安装scala的准备： 然后从 Scala 官网地址 http://www.scala-lang.o ...
分类：
其他好文 时间：
2020-01-31 17:18:27
阅读次数：
79
[TOC] 资料 "Spark机器学习库（MLlib）中文指南" "关于spark机器学习的知乎专栏" "Spark入门实战系列 8.Spark MLlib（上） 机器学习及SparkMLlib简介" "基本Kmeans算法介绍及其实现" [spark MLlib 概念 1：相关系数（ PPMCC ...
分类：
其他好文 时间：
2020-01-31 13:59:26
阅读次数：
104
今天主要研究了spark实验二的第一部分的Scala编写，看完代码后发现需要在REPL模式下运行，经过查证发现需要安装scala脚本，所以尝试在虚拟机中安装scala，成功后使用给的代码尝试运行，但是出错，提示没有找到类的定义，经过查证，发现是代码中缺少类得定义。改正后可以正常运行。 import ...
分类：
其他好文 时间：
2020-01-31 12:48:11
阅读次数：
93
在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把offset更新到zk中，默认会丢数据，效率低， ...
分类：
其他好文 时间：
2020-01-31 01:00:37
阅读次数：
82
今天完成了spark实验二，花费的时间太多，没由大到预期的计划。另外打包过程中下载时候遇到链接打不开404是不影响下载的，完成打包的学习。 下边是今天的实验。 2， 模拟图形绘制 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默 ...
分类：
其他好文 时间：
2020-01-30 23:15:16
阅读次数：
95
Spark安装 参照教程安装Spark 和 Scala 参考链接：http://dblab.xmu.edu.cn/blog/1307-2/ 环境：Linux 已安装Hadoop spark官方下载地址：http://spark.apache.org/downloads.html 参照图中内容下载sp ...
分类：
其他好文 时间：
2020-01-30 23:07:30
阅读次数：
70
今天完成了实验二 目的是 掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 ...
分类：
其他好文 时间：
2020-01-30 23:00:07
阅读次数：
81
