一.DStream的两类操作 DStream内部其实是RDD序列，所有的DStream操作最终都转换为RDD操作。通过分析源码，可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性： 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类：
其他好文 时间：
2020-07-20 13:13:18
阅读次数：
64
运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类：
其他好文 时间：
2020-07-19 11:44:16
阅读次数：
62
在~/.sbt/下添加一个repositories文件，里面内容如下： PS：.sbt/文件一般在C:\Users\RYJ\ 下面，也可以使用类似Everything的工具快速搜索到。 [repositories] local aliyun: http://maven.aliyun.com/nexu ...
分类：
其他好文 时间：
2020-07-19 00:57:36
阅读次数：
201
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类：
数据库 时间：
2020-07-19 00:39:19
阅读次数：
98
scala是面向对象的语言 package chapter02 object test01 { def main(args:Array[String]):Unit={ //创建类的对象 val user:User=new User() //调用类的属性和方法 println(user) //chap ...
分类：
其他好文 时间：
2020-07-17 19:43:08
阅读次数：
69
● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
1.官网下载jar包： https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz 2.上传jar包并且解压： 3.进入/flink-1.10.1/conf/flink-conf.y ...
分类：
系统相关 时间：
2020-07-16 00:06:51
阅读次数：
96
