RDD RDD初始參数：上下文和一组依赖 abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) exten ...
分类：
其他好文 时间：
2017-08-04 12:53:26
阅读次数：
189
处理数据类型为Value型的Transformation算子能够依据RDD变换算子的输入分区与输出分区关系分为下面几种类型: 1）输入分区与输出分区一对一型 2）输入分区与输出分区多对一型 3）输入分区与输出分区多对多型 4）输出分区为输入分区子集型 5）另一种特殊的输入与输出分区一对一的算子类型： ...
分类：
其他好文 时间：
2017-08-04 10:09:52
阅读次数：
199
JVM内存大小是有限的，有的时候程序过大时候会导致超出最大内存，产生下面异常: Exception in thread "main" java.lang.OutOfMemoryError: Java heap space at Java_Test.JVMtest1.main(JVMtest1.jav ...
分类：
编程语言 时间：
2017-08-02 22:05:03
阅读次数：
170
目录 · 概况 · 手工搭建集群 · 引言 · 安装Scala · 配置文件 · 启动与测试 · 应用部署 · 部署架构 · 应用程序部署 · 核心原理 · RDD概念 · RDD核心组成 · RDD依赖关系 · DAG图 · RDD故障恢复机制 · Standalone模式的S ...
分类：
其他好文 时间：
2017-08-02 10:06:54
阅读次数：
188
1、应用程序创建 SparkContext 的实例 sc 2、利用 SparkContext 的实例来创建生成 RDD 3、经过一连串的 transformation 操作，原始的 RDD 转换成为其它类型的 RDD 4、当 action 作用于转换之后 RDD 时，会调用 SparkContext ...
分类：
其他好文 时间：
2017-08-01 11:17:54
阅读次数：
203
Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算... ...
分类：
其他好文 时间：
2017-07-31 13:24:22
阅读次数：
129
常用transformation 注：某些函数只有PairRDD只有，而普通的RDD则没有，比如gropuByKey、reduceByKey、sortByKey、join、cogroup等函数要根据Key进行分组或直接操作 RDD[U] map(f: T => U) T：原RDD中元素类型 U：新R... ...
分类：
其他好文 时间：
2017-07-31 13:22:38
阅读次数：
349
Phaser提供了动态增parties计数，这点比CyclicBarrier类操作parties更加方便。它是jdk1.7新增的类，今天我们就来学习一下它的用法。 Phaser的简单使用 一、Phaser的arriveAndAwaitAdvance方法使用 一次运行的结果如下： 修改上述的main方 ...
分类：
编程语言 时间：
2017-07-31 10:04:37
阅读次数：
217
目录 · 概述 · 原理 · 组成 · 执行流程 · 性能 · API · 应用程序模板 · 通用读写方法 · RDD转为DataFrame · Parquet文件数据源 · JSON文件数据源 · Hive数据源 · 数据库JDBC数据源 · DataFrame Operation · 性能调优 ...
分类：
数据库 时间：
2017-07-31 09:58:34
阅读次数：
395
一、实验目的：我这里完成的是，将8张人脸图片(4组，每组两张）存入库中，选取1张图片，程序识别出与其匹配的另一张。 这里介绍分三个步骤完成该工作，①程序读取摄像头、拍照 ②程序从电脑文档中读取图片 ③检测人脸，并用红框框出人脸 ④使用感知哈希算法匹配最相似的图片 二、实验环境： Win 7(x64) ...
分类：
其他好文 时间：
2017-07-30 23:46:36
阅读次数：
313
