1.RDD介绍 A list of partitions > 一个许多分区的集合，分区中包含数据 A function for computing each split > 为每个分区提供一个computing的函数 A list of dependencies on other RDDs > RD ...
分类：
其他好文 时间：
2017-02-13 20:34:23
阅读次数：
307
转自 http://blog.csdn.net/pbymw8iwm/article/details/6931946 1.简介 CRegKey提供了对系统注册表的操作方法，通过CRegKey类，可以方便的打开注册表的某个分支或子键（CRegKey::Open），可以方便的修改一个键的键值（CRegKe ...
分类：
其他好文 时间：
2017-02-10 19:48:37
阅读次数：
213
spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 spark TopN问题，其实就是分组、排序、组内取值问题。 在shell下输入 进入spark后输入以下命令： 参考资料： http://stackoverflow.com/questions/ ...
分类：
其他好文 时间：
2017-02-08 14:41:44
阅读次数：
686
/* * spark算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。 * spark算子的作用： * 1.输入：在spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入scala集合或数据）输入spark， * 数据进入s... ...
分类：
其他好文 时间：
2017-02-04 18:18:49
阅读次数：
328
当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候，你会遇到各种各样术语，比如transformation，action，RDD 等等。 了解到这些是编写 Spark 代码的基础。 同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了解 ...
分类：
Web程序 时间：
2017-02-02 16:32:03
阅读次数：
361
5.1 文件格式 5.2.1文本文件 当我们将一个文本文件读取为RDD时，输入的每一行都会成为RDD的一个元素，也可以将多个完整文本文件一次性读取为一个pair RDD，其中键是文件名，值是文件内容。 在Python中读取一个文本文件 如果多个输入文件以一个包含数据所有部分的目录的形式出现，可以用两 ...
分类：
其他好文 时间：
2017-01-24 13:28:49
阅读次数：
121
1.RDD基础 弹性分布式数据集，简称RDD，是一个不可变的分布式对象集合。在Spark中，对数据的所有操作不外乎创建RDD，转化已有RDD以及调用RDD操作进行求值。 每一个RDD都被分为多个分区，这些分区运行在集群中的不同节点上，RDD可以包含Python，Java，Scala中任意类型的对象， ...
分类：
其他好文 时间：
2017-01-23 23:50:39
阅读次数：
456
2.1 Spark核心概念简介 驱动器程序通过一个SparkContext对象来访问Spark。这个对象代表对计算集群的一个连接。shell启动时已经创建了一个SparkContext对象，是一个叫做sc的变量。一旦有了SparkContext，你就可以用它来创建RDD。要执行这些操作，驱动器程序一 ...
分类：
其他好文 时间：
2017-01-23 17:27:49
阅读次数：
152
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选择记录更新的方式。但是，如果更新粒度太细太 ...
分类：
其他好文 时间：
2017-01-21 00:37:02
阅读次数：
241
