安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现 ...
分类：
数据库 时间：
2021-05-24 17:01:32
阅读次数：
0
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 总共有多少学生？ 总 ...
分类：
数据库 时间：
2021-05-24 16:59:25
阅读次数：
0
一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 df_scs. ...
分类：
数据库 时间：
2021-05-24 16:51:04
阅读次数：
0
1.用DataFrame的操作或SQL语句完成以下数据分析要求： 2.总共有多少学生？ 3.开设了多少门课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.Tom选修了几门课？每门课多少分？ 7.Tom的成绩按分数大小排序。 8.Tom的平均分。 9.每个分数+5分。 10.求每 ...
分类：
数据库 时间：
2021-05-24 16:49:50
阅读次数：
0
用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 df_scs.select('name', 'course', df_scs.score+5).show() 总共有多少学生？ 总共开设了哪些课程？ df_scs.select('name ...
分类：
数据库 时间：
2021-05-24 15:33:34
阅读次数：
0
典型问题之一：Elasticsearch集群的磁盘被打爆 造成磁盘被打爆有以下几种原因： 索引泛滥，索引接入无流程管控； 索引无生命周期管理； 索引分片数量不合理，单分片过大； 日志类索引未按天等细粒度划分，单索引过大； 多集群复用同一服务器节点； 磁盘容量大小不一。 这些问题比较基础，其实也反映出 ...
分类：
其他好文 时间：
2021-05-24 12:58:48
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-05-24 09:56:09
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-05-24 09:49:29
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-05-24 09:44:52
阅读次数：
0
