百度云分享了很多软件的链接,专门用一篇文章记录 一:window JDK安装包 1.8版本:https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2g SCALA安装包:https://pan.baidu.com/s/17f8AiS2n_g5kiQhxf7XIlA ...
分类:
其他好文 时间:
2019-10-26 13:24:11
阅读次数:
81
注意: -.toSeq:将元组List转换成mutable.Map -:_*:表示变长参数 ...
分类:
其他好文 时间:
2019-10-25 18:37:19
阅读次数:
240
Spark 资源调度与任务调度的流程(Standalone): 启动集群后, Worker 节点会向 Master 节点汇报资源情况, Master掌握了集群资源状况。 当 Spark 提交一个 Application 后, 根据 RDD 之间的依赖关系将 Application 形成一个 DAG ...
分类:
其他好文 时间:
2019-10-24 21:25:15
阅读次数:
70
Scala 比 Java 更面向对象一点,是 Scala 的类不允许静态(static)成员。对此类使用场景,Scala 提供了 单例对象(object)。单例对象的定义看上去跟类定义很像,只不过 class 关键字被换成了 object 关键字。 在事例中单例对象名叫 ChecksumAccumu ...
分类:
其他好文 时间:
2019-10-24 21:24:36
阅读次数:
102
package Eva.homework import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructTy... ...
分类:
其他好文 时间:
2019-10-23 22:01:27
阅读次数:
159
一、基本数据类型和变量 1.基本数据类型 java中每一个数据类型都是一个类; scala没有自己定义String类型,String类型是从java.lang.String照搬的。 字面量(literal) 2.变量 同一个环境中,可以重复使用同样一个变量名,只会记录最后一次用的那个类型。 二、输入 ...
分类:
其他好文 时间:
2019-10-22 18:20:13
阅读次数:
54
好程序员大数据教程分享Scala系列之模式匹配和样例类1.样例类在Scala中样例类是一中特殊的类,样例类是不可变的,可以通过值进行比较,可用于模式匹配。定义一个样例类:1.构造器中每一个参数都是val,除非显示地声明为var2.伴生对象提供apply,让你不使用new关键字就能构造出相应的对象caseclassPoint(x:Int,y:Int)创建样例类对象:valpoint=Point(1,
分类:
其他好文 时间:
2019-10-21 18:59:18
阅读次数:
84
大数据Scala系列之特质,特质的定义除了使用关键字trait之外,与类定义无异。 特质用来在类之间进行接口或者属性的共享。类和对象都可以继承特质,特质不能被实例化,因此也没有参数。 一旦特质被定义了,就可以使用extends或者with在类中混入特质。1作为接口使用的特质特质的定义:traitLogger{//这是一个抽象方法,特质中未被实现的方法默认是抽象的,不需要abstract关键
分类:
其他好文 时间:
2019-10-21 17:49:09
阅读次数:
84
完成了形式上的消除左递归,但是还存在bug,不能直接用于求解实际问题,但过实验指导书的样例是没问题的。先上几组测试数据。 test.data(指导书上的样例): test2.data: test3.data: test4.data: test5.data(书上的例子): 下面直接上代码,如果后面有时 ...
分类:
其他好文 时间:
2019-10-20 12:42:46
阅读次数:
74