码迷,mamicode.com
首页 >  
搜索关键字:mapreduce    ( 4054个结果
Dremel: Interactive Analysis of Web-Scale Datasets 1~6节算法思想部分翻译
Dremel是一个具有可扩展性和交互性,专用于分析只读嵌套数据的查询系统。它本身对多级操作数和柱状数据布局的融合使它得以在秒级的反应时间内对有万亿数量级行记录的表进行集成语句查询。这个系统在谷歌包含数以千计的CPU和PT级的数据量,并有着上千名使用者。这篇论文将会介绍Dremel的体系结构以及其实现,并阐述它如何实现基于MapReduce的计算。本文将呈现一种全新的嵌套式数据柱状存储方式并通过一个基于几千节点的样例系统实验分析性能。...
分类:Web程序   时间:2014-08-08 16:18:16    阅读次数:337
MapReduce三种路径输入
目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入:FileInputFormat.addInputPath(job, new Path(args[0]));FileInputFormat.addInputPath(job, new Path(args[1]));File...
分类:其他好文   时间:2014-08-08 15:09:26    阅读次数:2517
hadoop权威指南 chapter2 MapReduce
MapReduce MapReduce is a programming model for data processing. The model is simple, yet not too simple to express useful programs in. Hadoop can run MapReduce programs written in various languages...
分类:其他好文   时间:2014-08-08 12:44:23    阅读次数:231
0807—MapReduce的第一篇学习笔记
http://blog.csdn.net/v_july_v/article/details/66370141234
分类:其他好文   时间:2014-08-07 21:39:30    阅读次数:171
零基础学习hadoop到上手工作线路指导(编程篇)
问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ? 阅读此篇文章,需要...
分类:其他好文   时间:2014-08-07 19:24:50    阅读次数:405
MapReduce体系结构及各种算法(1)
MapReduce体系结构及各种算法(1)...
分类:其他好文   时间:2014-08-07 15:53:20    阅读次数:258
MapReduce体系结构及各种算法(2)
MapReduce体系结构及各种算法...
分类:其他好文   时间:2014-08-07 15:52:00    阅读次数:260
hadoop基础
1 定义hadoop是一个分布式系统架构。2 基本模块HDFS为海量数据提供了存储。Map/Reduce为海量数据提供了计算。3 子项目Hadoop Common: 在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的...
分类:其他好文   时间:2014-08-07 15:40:30    阅读次数:239
【系列】Matei Zaharia(马铁)博士论文-2 引言
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求,越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中,可编程性方面将遇到以下几个挑战: 并行编程问题;为了将应用并行化,需要并行编程模型的支撑。 容错和慢节点问题;当集群规模相当大时,这个问题也是非常严重的。 多用户共享集群要求能具备弹性计算的能力,此外还要考虑干扰问题。 结果就是出现了很多编程模型,首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载,于是就出现了各种各样专用的编程模型: ...
分类:其他好文   时间:2014-08-06 19:28:12    阅读次数:285
使用MongoVUE对MongoDB 进行MapReduce操作步骤
Step 1 Open MongoVUE and connect to the server that contains the collection “cities”   Step 2 Right-click on “cities” collection under “Database Explorer”, and select “MapReduce”. This will laun...
分类:数据库   时间:2014-08-06 19:07:42    阅读次数:352
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!