今天完成了实验任务五-Spark SQL 编程初级实践 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest，再建表 employee，包含下列两行数据； 表 1 employee 表原有数据 id name gender age ...
分类：
其他好文 时间：
2020-02-07 14:32:42
阅读次数：
88
今天本来想把昨天安装的intellij配置好，但是一直显示没有网络，网上查了相关资料也没有查出来解决办法。 然后暂停了intellij的配置，开始做了几个Python爬取简单数据的实例，先做了几个最简单的，以后再加大难度（用idle编码）： （1）京东商品页面爬取： 链接：https://item. ...
分类：
编程语言 时间：
2020-02-07 01:02:38
阅读次数：
79
参考视频教学https://www.bilibili.com/video/av76280600?p=9 隐式转换是在Scala编译器进行类型匹配时，如果找不到合适的类型，那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。 1.隐式值与隐式参数 隐式值是指在定义参数时前面加上implicit。 ...
分类：
其他好文 时间：
2020-02-06 23:36:21
阅读次数：
140
在Scala 中有两种弱变量 val 和 var 他们最主要的区别就是 val不能再赋值，var可以在生命周期中被多次赋值。 val: 1 scala> val msg=”Hello,world!”; 2 msg: java.lang.String = Hello,world! 3 scala> m ...
分类：
其他好文 时间：
2020-02-06 23:31:42
阅读次数：
104
今天主要学习了spark实验四的内容，实验四主要为RDD编程，本实验的重点为两个编程题 1.编写独立应用程序实现数据去重对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。输入文件 A ...
分类：
其他好文 时间：
2020-02-06 23:17:43
阅读次数：
168
这两天主要学习了爬虫（在学习爬虫过程中涉及到了学习maven）（https://www.cnblogs.com/zzstdruan1707-4/p/12267141.html） 以及scala集合 文件 模式匹配 迭代器等操作（磕磕绊绊 没掌握）（补充的第三个实验）（比源代码添加了更多便于理解的注释 ...
分类：
其他好文 时间：
2020-02-06 22:45:47
阅读次数：
65
1.该系总共有多少学生 val lines = sc.textFile("file:///usr/local/spark/sparksqldata/Data01.txt") val par = lines.map(row=>row.split(",")(0)) val distinct_par = ...
分类：
系统相关 时间：
2020-02-06 22:44:07
阅读次数：
106
Flume 官网下载 Flume1.7.0 安装文件，下载地址如下： http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后，把 Flume1.7.0 安装到 Linux 系统的“/usr/ ...
分类：
其他好文 时间：
2020-02-06 20:19:45
阅读次数：
95
1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例如，若 q 的值为 50.0，则输出应为：Sn=50.416695。请将源文件保存为 exercise2-1.scala，在 REPL ...
分类：
其他好文 时间：
2020-02-06 19:36:45
阅读次数：
66
一、列表 定义：是Scala中一种重要的容器 特点：1.可以存储同类型的重复数据 2.是有序的（可以进行索引操作，有先来后到之分） 分类：1.不可变列表：内容与长度均不可变 2.可变列表：内容元素与长度均可变 1.不可变列表 定义： 1 //第一种方式：List关键字 常用 2 var l1 = L ...
分类：
其他好文 时间：
2020-02-06 16:21:40
阅读次数：
59
