2 - Java基础语法 1 类型转换 在Java中，一些数据类型之间是可以相互转换的。分为两种情况：自动类型转换和强制类型转换。 1.1 隐式转换(理解) ? 把一个表示数据范围小的数值或者变量赋值给另一个表示数据范围大的变量。这种转换方式是自动的，直接书写即可。例如： double num = ...
分类：
编程语言 时间：
2021-03-01 13:00:49
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
在介绍 Spark SQL之前，我们先了解两种基本的数据分析方式。 一、数据分析的两种方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种。 命令式 在前面的 RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,可以得到一个结果,通过结果再进行后续计算。例如： sc.para ...
分类：
数据库 时间：
2021-02-16 12:29:50
阅读次数：
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA ...
分类：
其他好文 时间：
2021-02-04 11:53:09
阅读次数：
0
每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
Q：第一次提交wordcount案例，OK，一切正常。再次提交，出现下述错误。完整错误粘贴如下： 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO ...
分类：
编程语言 时间：
2021-01-28 11:56:52
阅读次数：
0
spark 从数据库中读取数据的几种方式，以Mysql 为例 创建spark val spark = SparkSession.builer().appName("用户标签").master("local[*]").getOrCreate() val url = "jdbc:mysql://数据库地 ...
分类：
数据库 时间：
2021-01-27 13:56:39
阅读次数：
0
引言 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，本文主要讲一些Value 类型 正文 资源路径和资源内容 map ###函数签名:def map[U: ClassTag](f: T ? U): RDD[U] ###函数说明:将处 ...
分类：
其他好文 时间：
2021-01-27 12:50:51
阅读次数：
0
