spark 创建分区 val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98)) val input = sc.parallelize(scores ...
分类：
其他好文 时间：
2018-09-29 13:02:21
阅读次数：
1741
咖啡君相信在咖啡馆里面， 我们不少会听到这样的话↓↓↓ 往往咖啡师看到此类客人 心里面会成千上万只草泥马奔腾而过 恨不得关上门跟这个人同归于尽！ …… 但是很多咖友们也会露出无辜脸说 每次去咖啡厅 看着拿铁、美式、玛奇朵、摩卡、卡布奇诺、 馥芮白、意式浓缩……都会纠结一番 为什么？ 今天咖啡君为大家 ...
分类：
其他好文 时间：
2018-09-26 16:08:02
阅读次数：
295
1. 三者共性： 1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利 2、三者都有惰性机制，执行trainform操作时不会立即执行，遇到Action才会执行 3、三者都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担 ...
分类：
其他好文 时间：
2018-09-21 20:49:46
阅读次数：
266
在spark的RDD中的transform操作算子中，总会调用sc.clean操作。当Scala构造一个闭包时，它确定闭包将使用哪些外部变量，并将它们的引用存储在闭包对象中。这允许封闭工作正常，即使它从不同的范围被调用时也是如此。 Scala-2.10-x以下的版本有时在捕捉太多外部变量方面犯了错误 ...
分类：
其他好文 时间：
2018-09-18 22:36:04
阅读次数：
188
初识RDD 什么是RDD？ 定义:Resilient distributed datasets (RDD), an efficient, general-purpose and fault-tolerant abstraction for sharing data in cluster applic ...
分类：
其他好文 时间：
2018-09-13 17:30:39
阅读次数：
174
相关详细说明：https://www.csdn.net/article/2015-07-10/2825184 RDD：弹性分布式数据集。 Operation：Transformation 和Action，一个返回RDD，一个返回值。 Lineage：RDD之间的依赖关系，如何演变过来。 Partit ...
分类：
其他好文 时间：
2018-09-12 11:03:18
阅读次数：
124
先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
MLlib是Spark提供提供机器学习的库，专为在集群上并行运行的情况而设计。MLlib包含很多机器学习算法，可在Spark支持的所有编程语言中使用。MLlib设计理念是将数据以RDD的形式表示，然后在分布式数据集上调用各种算法。其实，MLlib就是RDD上一系列可供调用的函数的集合。本文主要内容有简介、数据类型、统计、算法。
分类：
其他好文 时间：
2018-09-10 00:53:20
阅读次数：
202
简介
??Spark SQL提供了两种方式用于将RDD转换为Dataset。
- 使用反射机制推断RDD的数据结构
??当spark应用可以推断RDD数据结构时，可使用这种方式。这种基于反射的方法可以使代码更简洁有效。
通过编程接口构造一个数据结构，然后映射到RDD上
??当spark应用无法推断RDD数据结构时，可使用这种方式。
反射方式
scala
// For...
分类：
数据库 时间：
2018-09-09 16:49:16
阅读次数：
211
粘贴事件发生的时候获取剪切板的值，代码如下： ...
分类：
其他好文 时间：
2018-09-09 14:56:13
阅读次数：
146
