今天完成了实验五第三问，实验六也进行了一点。明天继续进行实验六。 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest，再建表 employee，包含下列两行数据； 表 1 employee 表原有数据 (2) 配置Spark通过 ...
分类：
其他好文 时间：
2020-02-09 22:07:28
阅读次数：
87
Spark SQL基本操作 (1) 查询所有数据； (2) 查询所有数据，并去除重复的数据； (3) 查询所有数据，打印时去除id字段； (4) 筛选出age>30的记录； (5) 将数据按age分组； (6) 将数据按name升序排列； (7) 取出前3行数据； (8) 查询所有记录的name列， ...
分类：
数据库 时间：
2020-02-09 20:39:48
阅读次数：
165
一、大数据spark 跟着b站的尚硅谷大数据往后学习了9个知识点 视频号：av62992342 内容：累加器与广播变量、初步认识SparkSQL 课程学习进度：63/126 二、《一线架构师实践指南》阅读 阅读了第九章 高层分割（两种实践套路、概念架构与贯穿案例） ...
分类：
其他好文 时间：
2020-02-09 20:08:12
阅读次数：
57
一、Connect DataStream,DataStream -> ConnectedStream，连接两个保持他们类型的数据流，两个数据流被Connect之后，只是被放在了同一个流中，内部依然保持各自的数据和形式 不发生任何变化，两个流相互独立。 import org.apache.flink. ...
分类：
其他好文 时间：
2020-02-09 16:28:07
阅读次数：
97
今天主要解决了实验五未解决的问题，前天在做实验五spark连接mysql时出现找不到jar包的问题，看了网上的讲解，调整了一下路径，有人说jar包要放在同名的一个文件夹里，实际上jar包应该直接放在spark安装目录的jars目录下就可，这样就可以连接上。 3. 编程实现利用 DataFrame 读 ...
分类：
其他好文 时间：
2020-02-09 14:48:16
阅读次数：
68
对于Scala这种东西，我还是弄不太清。毕竟大学那点java,c#什么的也还是懵懵懂懂，明明知道自己应该开始努力了却不知道该如何起跑，也不知道要往哪个方向跑。心里很是惆怅。 今天也就看了个b站上的Scala教学视频：https://www.bilibili.com/video/av39126512? ...
分类：
其他好文 时间：
2020-02-09 09:57:08
阅读次数：
57
Scala是一种纯面向对象的语言，每个值都是对象。对象的数据类型以及行为由类和特质描述。 类抽象机制的扩展有两种途径：一种途径是子类继承，另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。 函数式编程 Scala也是一种函数式语言，其函数也能当成值来使用。Scala提供了轻量级的语法用 ...
分类：
其他好文 时间：
2020-02-08 23:14:10
阅读次数：
121
一、大数据spark 跟着b站的尚硅谷大数据往后学习了7个知识点 视频号：av62992342 内容：学习了RDD的一些知识，包括保存读取和操作数据库 课程学习进度：54/126 二、《一线架构师实践指南》阅读 阅读了第八章 初步设计（主要讲述了鲁棒图） ...
分类：
其他好文 时间：
2020-02-08 22:00:13
阅读次数：
67
什么是DataFrame 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。 RDD和DataFrame的区别 DataFrame与RDD的主要区别在于，DataFrame带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有 ...
分类：
其他好文 时间：
2020-02-08 17:12:33
阅读次数：
58
一、迭代器 iterator 适合Scala中所有集合的遍历 1 var a = List(1, 2, 3, 4) 2 var b = a.iterator 3 //hasNext:判断迭代器是否由下一个元素 next：获取下一个元素 4 while (b.hasNext) { 5 println( ...
分类：
其他好文 时间：
2020-02-08 15:24:22
阅读次数：
71
