Spark写HBase 要通过Spark向 HBase 写入数据，我们需要用到PairRDDFunctions.saveAsHadoopDataset的方式。 package cn.com.win import org.apache.hadoop.hbase.HBaseConfiguration i ...
分类：
其他好文 时间：
2020-02-08 00:03:34
阅读次数：
53
1．spark-shell交互式编程 （1） 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] ...
分类：
其他好文 时间：
2020-02-07 22:19:06
阅读次数：
182
第二题： 第一步：在当前目录下新建一个目录 mkdir -p src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个 remdup.scala 在目录/usr/local/spark/mycode/remdup ...
分类：
其他好文 时间：
2020-02-07 20:41:24
阅读次数：
101
今天主要进行scala学习，再b站上找好了一个比较不错的视频。 视频链接：https://www.bilibili.com/video/av39126512?from=search&seid=11655088589598890079 scala可以访问现存的数之不尽的java类库，迁移到scala更 ...
分类：
其他好文 时间：
2020-02-07 19:12:23
阅读次数：
65
偏函数 当一个函数有很多参数时，调用者就需要提供多个参数。如果减少参数个数，就可以简化调用者的负担。 比如，int()函数可以把字符串转换为整数，当仅传入字符串时，int()函数默认按十进制转换： >>> int('12345') 12345 但int()函数还提供额外的base参数，默认值为10。 ...
分类：
编程语言 时间：
2020-02-07 18:49:29
阅读次数：
76
参考视频教学https://www.bilibili.com/video/av76280600?p=9 隐式转换是在Scala编译器进行类型匹配时，如果找不到合适的类型，那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。 1.隐式值与隐式参数 隐式值是指在定义参数时前面加上implicit。 ...
分类：
其他好文 时间：
2020-02-06 23:36:21
阅读次数：
140
在Scala 中有两种弱变量 val 和 var 他们最主要的区别就是 val不能再赋值，var可以在生命周期中被多次赋值。 val: 1 scala> val msg=”Hello,world!”; 2 msg: java.lang.String = Hello,world! 3 scala> m ...
分类：
其他好文 时间：
2020-02-06 23:31:42
阅读次数：
104
这两天主要学习了爬虫（在学习爬虫过程中涉及到了学习maven）（https://www.cnblogs.com/zzstdruan1707-4/p/12267141.html） 以及scala集合 文件 模式匹配 迭代器等操作（磕磕绊绊 没掌握）（补充的第三个实验）（比源代码添加了更多便于理解的注释 ...
分类：
其他好文 时间：
2020-02-06 22:45:47
阅读次数：
65
1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例如，若 q 的值为 50.0，则输出应为：Sn=50.416695。请将源文件保存为 exercise2-1.scala，在 REPL ...
分类：
其他好文 时间：
2020-02-06 19:36:45
阅读次数：
66
一、列表 定义：是Scala中一种重要的容器 特点：1.可以存储同类型的重复数据 2.是有序的（可以进行索引操作，有先来后到之分） 分类：1.不可变列表：内容与长度均不可变 2.可变列表：内容元素与长度均可变 1.不可变列表 定义： 1 //第一种方式：List关键字 常用 2 var l1 = L ...
分类：
其他好文 时间：
2020-02-06 16:21:40
阅读次数：
59
