与map类似，区别是原RDD中的元素经map处理后只能生成一个元素，而原RDD中的元素经flatmap处理后可生成多个元素 val a = sc.parallelize(1 to 4, 2) val b = a.flatMap(x => 1 to x)//每个元素扩展 b.collect /* 结果... ...
分类：
其他好文 时间：
2019-08-11 13:37:57
阅读次数：
100
把一个pair里的values变成一个数组，然后k-v1 k-v2... 如果是mapValues会输出：【对比区别】 (mobin,List(22, male))(kpop,List(20, male))(lufei,List(23, male)) ...
分类：
其他好文 时间：
2019-08-11 13:37:25
阅读次数：
207
从一个list变成 key value 自定义函数生成新的rdd 就是把key value变成另一个key value ...
分类：
其他好文 时间：
2019-08-11 12:37:01
阅读次数：
398
Spark_飞机项目 首先将csv文件变成UTF-8 rdd 起始机场编号排名 机场数量/航线数量 计算最长的飞行航线 最大的边属性 找出最繁忙的机场 哪个机场到达航班最多 找出最重要的飞行航线 PageRank prege sampleRDD 找出最便宜的飞行航线 创建顶点 初始化源点（0） ...
分类：
其他好文 时间：
2019-08-11 01:20:44
阅读次数：
184
1、Application application（应用）其实就是用spark-submit提交的程序。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和action进行计算，将结果输出到console或者外部存储。 2、 ...
分类：
移动开发 时间：
2019-08-07 20:48:55
阅读次数：
108
一、JSON数据源综合案例实战1、概述Spark SQL可以自动推断JSON文件的元数据，并且加载其数据，创建一个DataFrame。可以使用SQLContext.read.json()方法，针对一个元素类型为String的RDD，或者是一个JSON文件。但是要注意的是，这里使用的JSON文件与传统... ...
分类：
Web程序 时间：
2019-08-02 11:15:13
阅读次数：
120
1：通过设置剪切板实现复制和黏贴 2：模拟鼠标右键 ...
一、背景如果在持久化RDD的时候，持久化了大量的数据，那么Java虚拟机的垃圾回收就可能成为一个性能瓶颈。因为Java虚拟机会定期进行垃圾回收，此时就会追踪所有的java对象，并且在垃圾回收时，找到那些已经不在使用的对象，然后清理旧的对象，来给新的对象腾出内存空间。垃圾回收的性能开销，是跟内存中的对... ...
分类：
编程语言 时间：
2019-07-29 14:29:49
阅读次数：
110
PHP jsonRPC 百度云网盘地址 https://pan.baidu.com/s/1itCIhrdd5bPGJMefNUuKvw 提取码 ： ax4d PHP Excel 百度云网盘地址 https://pan.baidu.com/s/1jJVjL5XTOQTS2B1RuRnw7Q 提取码 ： ...
分类：
Web程序 时间：
2019-07-25 17:56:31
阅读次数：
122
