1、Scala中的类使用class定义，方法使用def定义。 2、在Scala的方法中，不需要依靠return语句来为方法返回一个值。方法里面最后一个表达式的值就是方法的返回值。 3、Scala允许类的嵌套定义，即在一个类定义体里再定义另外一个类。 4、Scala采用类似Java中的getter和s ...
分类：
其他好文 时间：
2020-02-05 23:13:28
阅读次数：
88
一、Scala中有方法和函数俩种技术 1.方法 定义：def 方法名(参数名：参数类型，参数名：参数类型):[返回值类型] = { 方法体 } e.g： 1 def test1(): Unit = { 2 println("我是一个方法") 3 } 4 //return需要同返回值类型一起使用，不可 ...
分类：
其他好文 时间：
2020-02-05 20:43:16
阅读次数：
75
5.sc.textFiles() 与 sc.wholeTextFiles() 的区别 sc.textFile()是将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式,文件的每一行 相当于 列表 的一个元素，因此可以在每个partition中用for i in data的形式遍历处理 ...
分类：
其他好文 时间：
2020-02-05 18:20:06
阅读次数：
457
今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
今天进行了Spark的安装。 1.1 下载安装包进入Scala下载页面，下拉，找到tgz包 右击，复制链接如下https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz在master的命令行中输入：wget https://down ...
分类：
其他好文 时间：
2020-02-05 00:00:07
阅读次数：
97
1. SparkSql如何自定义函数 2. 示例：Average 3. 类型安全的自定义函数 1. SparkSql如何自定义函数？ spark中我们定义一个函数，需要继承 UserDefinedAggregateFunction这个抽象类，实现这个抽象类中所定义的方法，这是一个模板设计模式？ 我只 ...
分类：
数据库 时间：
2020-02-04 23:50:06
阅读次数：
115
vim ./sparkapp/src/main/scala/SimpleApp.scala #在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件，并添加如下代码 /* SimpleApp.scala */import org.apache. ...
分类：
其他好文 时间：
2020-02-04 23:42:21
阅读次数：
90
我今天学习了spark sql Spark SQL可以很好地支持SQL查询，一方面，可以编写Spark应用程序使用SQL语句进行数据查询，另一方面，也可以使用标准的数据库连接器（比如JDBC或ODBC）连接Spark进行SQL查询，这样，一些市场上现有的商业智能工具（比如Tableau）就可以很好地 ...
分类：
其他好文 时间：
2020-02-04 23:28:25
阅读次数：
81
一、大数据spark spark环境在昨天已经全部搭建成功了 跟着b站的尚硅谷大数据往后学习了6个知识点，视频号：av62992342 学习了关于RDD的一系列知识。 课程学习进度：20/126 二、《一线架构师实践指南》阅读 阅读了第四章 需求结构化与分析约束影响 ...
分类：
其他好文 时间：
2020-02-04 23:22:57
阅读次数：
79
1.spark中partition的概念partition是RDD的最小单元，是盛放文件的盒子，一个文件可能需要多个partition，但是一个partition只能存放一个文件中的内容，partition是spark计算中，生成的数据在计算空间内最小单元，2.fileWriter.flush()f ...
分类：
其他好文 时间：
2020-02-04 20:10:54
阅读次数：
81
