GraphX 是 Spark 中用于图形和图形并行计算的新组件。在高层次上， GraphX 通过引入一个新的图形抽象来扩展 Spark RDD ：一种具有附加到每个顶点和边缘的属性的定向多重图形。为了支持图形计算，GraphX 公开了一组基本运算符（例如： subgraph ，joinVertice... ...
分类：
Web程序 时间：
2017-09-26 21:19:11
阅读次数：
243
Spark SQL 是 Spark 处理结构化数据的一个模块.与基础的 Spark RDD API 不同, Spark SQL 提供了查询结构化数据及计算结果等信息的接口.在内部, Spark SQL 使用这个额外的信息去执行额外的优化.有几种方式可以跟 Spark SQL 进行交互, 包括 SQL... ...
分类：
数据库 时间：
2017-09-26 21:01:26
阅读次数：
340
/** Spark SQL源码分析系列文章*/ 接上一篇文章Spark SQL Catalyst源码分析之Physical Plan，本文将介绍Physical Plan的toRDD的具体实现细节： 我们都知道一段sql，真正的执行是当你调用它的collect()方法才会执行Spark Job，最后 ...
分类：
数据库 时间：
2017-09-26 15:00:36
阅读次数：
241
RDD flatMap 操作例子： flatMap，对原RDD的每个元素(行)执行函数操作，然后把每行都“拍扁” [training@localhost ~]$ hdfs dfs -put cats.txt[training@localhost ~]$ hdfs dfa -cat cats.txtE ...
分类：
编程语言 时间：
2017-09-25 21:58:42
阅读次数：
208
对HDFS 上的文件，采用绝对路径，来读取获得 RDD: In [102]: mydata=sc.textFile("file:/home/training/test.txt")17/09/24 06:31:04 INFO storage.MemoryStore: Block broadcast_3 ...
分类：
编程语言 时间：
2017-09-24 22:21:21
阅读次数：
1380
Spark(Python) 从内存中建立 RDD 的例子： myData = ["Alice","Carlos","Frank","Barbara"]myRdd = sc.parallelize(myData)myRdd.take(2) In [52]: myData = ["Alice","Car ...
分类：
编程语言 时间：
2017-09-24 18:18:34
阅读次数：
514
RDD Twister HaLoop Dryad MR Pregel.... 多个并行操作重用中间结果-抽象自动容错、位置感知性调度和可伸缩性 容错：数据检查点和记录数据的更新RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列转换记录下来（即Lineage），以便恢复丢失的分 ...
分类：
其他好文 时间：
2017-09-24 00:35:53
阅读次数：
175
学习spark任何技术之前，请先正确理解spark，可以参考：正确理解spark以下对RDD的三种创建方式、单类型RDD基本的transformationapi、采样Api以及pipe操作进行了pythonapi方面的阐述一、RDD的三种创建方式从稳定的文件存储系统中创建RDD，比如localfileSystem或者hdfs等，如下：..
分类：
编程语言 时间：
2017-09-22 11:58:32
阅读次数：
224
只为成功找方法，不为失败找借口！ 只为成功找方法，不为失败找借口！ 用Jquery控制文本框只能输入数字和字母 在公司开发WinForm项目时，发现公司自主研发的textbox控件非常强大，可以实现"只能输入数字"、"只能输入字母"和"只能输入数字和字母"的三种输入限制，这样就可以精确控制用户输入的 ...
分类：
Web程序 时间：
2017-09-22 10:16:15
阅读次数：
232
学习spark任何的技术前，请先正确理解spark，可以参考:正确理解spark以下是在mac操作系统上配置用python开发spark的环境一、安装pythonspark2.2.0需要python的版本是Python2.6+或者Python3.4+可以参考：http://jingyan.baidu.com/article/7908e85c78c743af491ad261.html二、下..
分类：
编程语言 时间：
2017-09-21 23:33:59
阅读次数：
447
