https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L6.pdf Table recall: 1. rows: entity 2. columns: attributes Spark SQL: 1. Spark SQL is not about sql, ...
分类：
数据库 时间：
2020-07-19 00:39:19
阅读次数：
98
# 此为获取东航登录时的token（经分析js得出此token存储于localstorage中） browser = webdriver.Chrome(executable_path='xxxx')browser.get('https://passport.ceair.com/?redirectUr ...
分类：
编程语言 时间：
2020-07-18 22:36:19
阅读次数：
166
● 系统环境说明 Linux环境：centos7.4 EMR：3.0.0 Java：1.8.0_112 ● 集群配置 机器数量：50 内存：128G 硬盘：100T CPU核心数：32C 问题 SQL中使用了LEFT JOIN，在执行过程中遇到以下报错： java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2020-07-17 01:24:45
阅读次数：
119
发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
存session： sessionStorage.setItem('key', data); 读取session： var data = sessionStorage.getItem('key'); 移除session: sessionStorage.removeItem('key'); 清空ses ...
分类：
Web程序 时间：
2020-07-15 23:24:05
阅读次数：
79
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
Cookie Cookie是指存储在本地终端上的的数据，同时与具体Web页面或者相关站点相关联。Cookie数据会自动在Web浏览器和Web服务器之间进行传输。也就是说HTTP请求发送时，会把保存在该请求域名下的Cookie值发送到服务器端，因此，服务器端脚本可以读写存储在客户端的Cookie值。 ...
分类：
其他好文 时间：
2020-07-15 01:32:12
阅读次数：
87
本文让你搞懂LevelDB是啥，有啥特性，源码如何编译，源码如何调试等等~ ...
分类：
数据库 时间：
2020-07-15 01:26:02
阅读次数：
115
S3：simple storage service 简单存储服务全球存储区域网络SAN ；表现为一个很大的硬盘，可以在其中存储和检索数字资产；对象存储在存储段中；对象即文件，存储段即文件夹或目录，对象和存储段可通过URL查找；存储段只能是顶级的，不能像嵌套硬盘中的文件夹一样进行嵌套；存储段名称是Am ...
分类：
其他好文 时间：
2020-07-14 21:43:21
阅读次数：
82
