xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" creationComplete="init(event)">
import mx.core.IVisualElement;
import mx.core.IVisualElementContai...
分类：
其他好文 时间：
2014-07-22 23:05:55
阅读次数：
338
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
void Merge(int A[],int p,int q,int r){
int i,j,k;
//计算子数组A[p..q]的元素个数
int n1 = q - p + 1;
//计算子数组A[q+1..r]元素个数
int n2 = r - q;
//创建子数组L，R
int* L = (int*)malloc(sizeof(int)*...
分类：
其他好文 时间：
2014-05-04 12:44:38
阅读次数：
384
第三章 Banach空间上的有界线性算子 —zwb565055403
1.设无穷矩阵$(a_{ij})...
分类：
其他好文 时间：
2014-05-04 11:24:57
阅读次数：
704
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
综合关注几篇papers的图像融合算法，对整个过程作归纳，与大家分享(^_^)。基于sift特征的全景拼接方法的整个过程的大致流程：对需拼接的图像进行预处理,提取图像SIFT特征点描述算子,进行特征匹配，得到特征匹配对,匹配提取，得到鲁棒的特征匹配对和进行图像融合。...
分类：
其他好文 时间：
2014-05-03 23:47:05
阅读次数：
316
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
1。国际化 如添加朋友Friends是英文，可以找着相关的类，并在国际化配置文件中添加key
在项目中全局搜索“Friends”，将得到的结果集全部展开，找到这两个文件： 在国际化配置文件spark_i18n_zh_CN.properties 中增加
custum.friends=朋友 修...
分类：
其他好文 时间：
2014-05-01 19:52:51
阅读次数：
470
很早以前有个Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。
flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。
目前项目在Github上，地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。
Github...
分类：
其他好文 时间：
2014-04-30 22:15:39
阅读次数：
360
