条件：maven、java应用程序代码、pom.xml -pom.xml文件 1 <project> 2 <groupId>edu.berkeley</groupId> 3 <artifactId>simple-project</artifactId> 4 <modelVersion>4.0.0</ ...
分类：
编程语言 时间：
2020-02-11 09:47:08
阅读次数：
80
启动hadoop -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式 ...
分类：
系统相关 时间：
2020-02-11 09:38:51
阅读次数：
116
词频统计： textFile包含了多行文本内容： textFile.flatMap(line => line.split(” “))会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量line，并执行Lamda表达式line => line.split(” “) ...
分类：
其他好文 时间：
2020-02-11 09:32:45
阅读次数：
65
分析： val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件，必须以“file：///”开头 Spark的惰性机制：执行上面的命令不会马上显示结果 只有遇到行动类型的操作，才会从头到尾执行所有操作，如：textFile.firs ...
分类：
其他好文 时间：
2020-02-11 09:21:30
阅读次数：
119
trait调用链 Scala 中支持让类继承多个 trait 后，依次调用多个 trait 中的同一个方法，只要让多个 trait 的同一个方法中，在最后都执行 方法即可 类中调用多个 trait 中都有的这个方法时，首先会从最右边的 trait 的方法开始执行，然后依次往左执行，形成一个调用链条 ...
分类：
其他好文 时间：
2020-02-11 00:32:56
阅读次数：
67
摘要：实验二 Scala编程初级实践 一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； ...
分类：
其他好文 时间：
2020-02-11 00:04:38
阅读次数：
108
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
今天主要学习了实验 7 Spark 机器学习库 MLlib 编程实践， 主要代码： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Ve ...
分类：
其他好文 时间：
2020-02-10 16:34:34
阅读次数：
132
Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统，由Scala和Java编写。官网地址：http://kafka.apache.org 0.基本概念 Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker。 Topic：每条发布到Kafka集群的 ...
分类：
其他好文 时间：
2020-02-10 13:37:49
阅读次数：
83
今天准备安装了pyecharts，官网下载速度太慢了，下了半天还没有下载完成，简单了解了一下用pyecharts库画图的方法，继续配置eclipse的环境，因为停电的原因进度太慢了，明天继续努力。 ...
分类：
其他好文 时间：
2020-02-10 00:03:45
阅读次数：
69
