本文主要讲述在standalone cluster部署模式下，应用(Driver Application)所需要的资源是如何获得，在应用退出时又是如何释放的。
分类：
其他好文 时间：
2014-07-22 22:48:15
阅读次数：
243
1、Spark中采用依赖关系(Dependency)表示rdd之间的生成关系。Spark可利用Dependency计算出失效的RDD。在每个RDD中都存在一个依赖关系的列表
private var dependencies_ : Seq[Dependency[_]] = null
用以记录各rdd中各partition的parent partition。
2、Spark中存在两类Depe...
分类：
其他好文 时间：
2014-07-22 22:34:15
阅读次数：
264
本文详细介绍了Spark SQL的Catalyst里，Analyzer是如何Sql parser的解析的UnResolved逻辑计划，进行resolve的。...
分类：
数据库 时间：
2014-07-22 14:49:52
阅读次数：
396
1，单值分解：线性代数的重要部分，已经被广泛用于模式识别中的降维和信息检索应用中。
2，独立成分分析
3，非负矩阵分解
4，非线性降维算法：① kernel PCA②基于图的方法（拉普拉斯算子，Local LinearEmbedding (LLE)，Isometric Mapping (ISOMAP)）
5，离散傅里叶变换
6，离散cos和sin变换
7，THEHADAMARD TRA...
分类：
其他好文 时间：
2014-07-22 14:31:58
阅读次数：
252
题目如下： Counting Subsequences Time Limit: 5000 MSMemory Limit: 65536 K Description ?"47 is the quintessential random number," states the 47 society. And there might be a grain of truth in that....
分类：
其他好文 时间：
2014-07-22 08:13:34
阅读次数：
281
这一章要讲Spark Streaming，讲之前首先回顾下它的用法，具体用法请参照《Spark Streaming编程指南》。Example代码分析val ssc = new StreamingContext(sparkConf, Seconds(1));// 获得一个DStream负责连接 监听端...
分类：
其他好文 时间：
2014-07-22 08:01:34
阅读次数：
351
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
1：Spark生态和安装部署
Spark生态
Spark（内存计算框架）
SparkSteaming（流式计算框架）
Spark SQL（ad-hoc）
Mllib（Machine Learning）
GraphX（bagel将被取代）
安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone H...
分类：
其他好文 时间：
2014-07-22 00:27:35
阅读次数：
317
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
