Spark是分布式内存计算框架，而不是分布式内容存储框架，搭配tachyon分布式内存文件系统，会更加有效果。在文件模式下，spark比hadoop快10倍，在内存计算模式下，快100倍！下面是一些1spark是分布式基于内存特别适合于迭代计算的计算框架2mapReduce就两个阶段map和reduce，而sp..
分类：
其他好文 时间：
2016-09-19 14:34:45
阅读次数：
154
华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。 华为拥抱开源Alluxio：内存将成重要战略平台 Alluxio此前曾名为Tachyon Nexus，是一家由Andreessen Horo ...
分类：
其他好文 时间：
2016-09-05 09:11:19
阅读次数：
173
RDD的检查点 RDD的缓存能够在第一次计算完成后，将计算结果保存到内存、本地文件系统或者Tachyon中。通过缓存，Spark避免了RDD上的重复计算，能够极大地提升计算速度。但是，如果缓存丢失了，则需要重新计算。如果计算特别复杂或者计算耗时特别多，那么缓存丢失对于整个Job的影响是不容忽视的。为 ...
分类：
Web程序 时间：
2016-07-31 20:34:50
阅读次数：
184
史鸣飞：大家好，我是叫史鸣飞，来自英特尔公司，接下来我向大家介绍一下Tachyon。我事先想了解一下大家有没有听说过Tachyon，或者是对Tachyon有没有一些了解？对Spark呢？ 首先做一个介绍，我来自英特尔的大数据团队，我们团队主要是致力于各种大数据的软件开发以及这些软件在工业界的推广和应 ...
分类：
其他好文 时间：
2016-07-24 00:30:40
阅读次数：
299
概述 互联网公司同质应用服务竞争日益激烈，业务部门亟需利用线上实时反馈数据辅助决策支持以提高服务水平。Alluxio（前Tachyon）作为一个以内存为中心的虚拟分布式存储系统，在大数据系统性能提升以及生态系统多组件整合的进程中扮演着重要角色。本文将介绍去哪儿网（Qunar）的一个基于Alluxio ...
分类：
其他好文 时间：
2016-05-31 10:35:18
阅读次数：
346
0、Spark的wc.note
package RddApiimport org.apache.spark.{SparkConf, SparkContext}/** * hadoop * spark * tachyon * hadoop * hbase * spark *//** * Created by Administrator on 2016/4/2...
分类：
其他好文 时间：
2016-05-18 19:20:18
阅读次数：
259
本节课通过代码实战演示RDD中最重要的两个算子，join和cogroupjoin算子代码实战：//通过代码演示join算子valconf=newSparkConf().setAppName("RDDDemo").setMaster("local")valsc=newSparkContext(conf)valarr1=Array(Tuple2(1,"Spark"),Tuple2(2,"Hadoop"),Tuple2(3,"Tachyon"..
分类：
其他好文 时间：
2016-05-14 01:12:13
阅读次数：
493
Alluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快 ...
分类：
其他好文 时间：
2016-05-11 23:37:33
阅读次数：
297
版本：v0.7.1.tar.gz
记录
xubo@xubo:~/cloud/tachyon-0.7.1$ mvn install
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build...
分类：
其他好文 时间：
2016-05-06 14:49:27
阅读次数：
194
更多代码请见：https://github.com/xubo245/SparkLearning
1.环境
hadoop 2.6.0
spark 1.5.2
java 1.7
2.下载：
https://github.com/Alluxio/alluxio/archive/v0.7.1.tar.gz
3.编译：
mvn clean package -Djava....
分类：
其他好文 时间：
2016-05-06 13:00:38
阅读次数：
280
