1）引言
针对MRv1在扩展性，可靠性，资源利用率和多框架的支持上存在着明显的不足，进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapRe...
分类：
其他好文 时间：
2014-12-15 15:32:39
阅读次数：
212
要想编写高效的程序，那么一定要对内存结构有比较深刻的认识，就像C/C++里面的堆内存，栈内存，全局存储区，静态存储区，常量区等。Cuda是并行计算框架，而GPU的内存有限，那么如果想编写高效的Cuda程序，首先要对其内存结构有一个简单的认识。...
分类：
其他好文 时间：
2014-12-12 00:05:52
阅读次数：
298
Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。本文讲述了Tachyon的重要概念、使用方法以及基本原理。...
分类：
其他好文 时间：
2014-12-09 09:26:53
阅读次数：
243
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架）
HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。
从节点，有很多个datanodes，负责存储文件，文件被分成block存储...
分类：
其他好文 时间：
2014-12-08 09:23:22
阅读次数：
231
JobTracker是整个MapReduce计算框架中的主服务，相当于集群的“管理者”，负责整个集群的作业控制和资源管理。本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析。1JobTracker启动过程1.1各种线程功能函数offerService()会启动JobTracke...
分类：
其他好文 时间：
2014-12-06 13:58:21
阅读次数：
290
UCBerkeley研发的Tachyon(超光子['tæki???n]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。如下图，它就处于这样一个层次：在现有存储系统如HDFS之上，在Spark，MapReduce，Impala等各种计算框架之下。为什么要有这么一个框架呢？MapReduce就不说了，但像Spark这种内存计算框架，为什...
分类：
其他好文 时间：
2014-11-27 20:29:10
阅读次数：
287
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景：Ø 迭代式算法：迭代式机器学习、图算法，包...
分类：
其他好文 时间：
2014-11-22 16:08:17
阅读次数：
392
Galaxy是阿里数据平台事业部，实时计算组自研的增量计算框架。今年双十一，阿里直播大屏就是Galaxy支持和保障的重要业务之一，相信大家可能看过双十一之后网上一些介绍性的文章了，比如阿里研发实时计算平台 每秒运算量将超千万，不过这篇文章面向非技术人员，最后的比喻也是有点醉。还这篇比较新的 阿里巴巴实时数据公共层助力双11媒体直播。
本文我会介绍一些我认为可以公开出来说的galaxy技术上的特点，让技术人员对该计算框架有个更准确的认识。...
分类：
其他好文 时间：
2014-11-22 12:04:57
阅读次数：
391
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类：
Windows程序 时间：
2014-11-14 15:42:08
阅读次数：
2971
