在~/.sbt/下添加一个repositories文件，里面内容如下： PS：.sbt/文件一般在C:\Users\RYJ\ 下面，也可以使用类似Everything的工具快速搜索到。 [repositories] local aliyun: http://maven.aliyun.com/nexu ...
分类：
其他好文 时间：
2020-07-19 00:57:36
阅读次数：
201
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类：
数据库 时间：
2020-07-19 00:39:19
阅读次数：
98
scala是面向对象的语言 package chapter02 object test01 { def main(args:Array[String]):Unit={ //创建类的对象 val user:User=new User() //调用类的属性和方法 println(user) //chap ...
分类：
其他好文 时间：
2020-07-17 19:43:08
阅读次数：
69
● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
1.官网下载jar包： https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz 2.上传jar包并且解压： 3.进入/flink-1.10.1/conf/flink-conf.y ...
分类：
系统相关 时间：
2020-07-16 00:06:51
阅读次数：
96
JavaScript 和后来新设计的语言里都是可以加也不不加分号的：Go, Scala, Ruby, Python, Swift, Groovy.. 总结下来就是一句话：一行开头是括号或者方括号的时候加上分号就可以了，其他时候全部不需要, 但是这种情况也是很少的. 例如: //db.js conso ...
分类：
编程语言 时间：
2020-07-15 22:49:54
阅读次数：
85
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
参考： https://www.cnblogs.com/williamjie/p/9317565.html 刚开始建立新项目时，会出现缺包找不到类满篇红线等各种问题，要么换仓库，要么等，下载下来就OK了。 ...
分类：
其他好文 时间：
2020-07-14 20:01:28
阅读次数：
77
