1、union（otherDataSet） 作用 ： . 对源 RDD 和参数 RDD 求并集后返回一个新的 RDD 2、subtract（otherDataSet） 作用: 从原 RDD 中减去 原 RDD 和otherDataset 中的共同的部分. 3、intersection（otherDa ...
分类：
其他好文 时间：
2019-12-15 20:02:10
阅读次数：
81
scala> val rdd1 = sc.parallelize(List(63,45,89,23,144,777,888))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :15查看该... ...
分类：
其他好文 时间：
2019-12-15 01:05:06
阅读次数：
98
spark on yarn 的执行过程在 yarn RM 上无法直接查看，即 http://192.168.10.10:8088，这对于调试程序很不方便，所以需要手动配置 配置方法 1. 配置 spark-defaults.conf cp spark-defaults.conf.template s ...
分类：
Web程序 时间：
2019-12-14 18:50:53
阅读次数：
174
一、测试数据集(奥特曼.json) 二、源代码 1 import org.apache.spark.sql.SparkSession 2 3 //在Scala中,样例类在编译时会默认实现Product特质 4 case class Ultraman(name: String, age: BigInt ...
分类：
数据库 时间：
2019-12-14 17:35:20
阅读次数：
144
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
1. spark编译出现error：object Apache is not a member of package org 原因：idea用的maven路径默认在C盘用户.m2文件下，这个问题此处是因为路径中包含中文造成的 解决方案：将.m2移动到其他路径（不含空格和英文），然后重新指定idea中 ...
分类：
其他好文 时间：
2019-12-13 19:36:03
阅读次数：
69
进阶算子： import org.apache.spark.rdd.RDD import org.apache.spark.{HashPartitioner, SparkConf, SparkContext} /** * 进阶算子 */ object FunctionDemo2 { def main ...
分类：
其他好文 时间：
2019-12-12 18:03:32
阅读次数：
79
val rdd = sc.parallelize(List(1,2,3,4,5,6),第二参数)这里的第二参数 获取方式有两种:1.直接给定值,根据传入的值决定分区的数量2.根据运行环境获取分区数量(core) -->例如 本地运行 设置为local 此时设置分区值默认分区就是1个 val rdd ...
分类：
其他好文 时间：
2019-12-12 17:57:37
阅读次数：
190
PS：在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark ...
分类：
其他好文 时间：
2019-12-12 15:18:31
阅读次数：
132
一 编译 以spark2.4 hadoop2.8.4为例 1，spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties ...
分类：
其他好文 时间：
2019-12-12 13:22:10
阅读次数：
86
