hadoop2.x以后, 计算框架放在在yarn上 1, yarn.site 2, mapred-stie.xml, 把mapreduce的环境放在yarn中 3, yarn-site.xml, 制定mapreduce运行在哪个框架上 NodeManager 和 Datanode在一块, 不需要配置 ...
分类：
其他好文 时间：
2017-04-02 18:18:18
阅读次数：
124
分布式计算框架Hadoop 1 Hadoop是什么？ Hadoop是一种开源的适合大数据的分布式存储和处理的平台。 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Apache Had ...
分类：
其他好文 时间：
2017-03-19 16:05:27
阅读次数：
387
Cuda是Nvidia发布的并行计算框架，GPU的工作早已不局限于处理图形图像，它所包含的大量的计算单元用来执行那些计算量大但可以并行处理的任务。 Cuda的操作概括来说包含5个步骤： 1.CPU在GPU上分配内存：cudaMalloc； 2.CPU把数据发送到GPU：cudaMemcpy； 3.C ...
分类：
其他好文 时间：
2017-03-19 15:29:55
阅读次数：
194
Spark是目前最火爆的大数据计算框架，有赶超Hadoop MapReduce的趋势。因此，趁着现在还有大多数人不懂得Spark开发的，赶紧好好学习吧，为了使不同的开发人员能够很好的利用Spark，Spark官方提供了不同开发语言的API，本文以大数据经典入门案例WordCount为例，开发多个版本 ...
分类：
编程语言 时间：
2017-03-15 15:16:10
阅读次数：
198
通过前面的学习，大家已经了解了HDFS文件系统。有了数据，下一步就要分析计算这些数据，产生价值。接下来我们介绍Mapreduce计算框架，学习数据是怎样被利用的。Mapreduce计算框架如果将Hadoop比做一头大象，那么MapReduce就是那头大象的电脑。MapReduce是Hadoop核心编程模型。..
分类：
其他好文 时间：
2017-03-07 14:19:51
阅读次数：
432
1.简介 将数据插入HBase表中的方法很多，我们可以通过TableOutputFormat以Mapreduce on HBase的方式将数据插入，也可以单纯的使用客户端API将数据插入。但是以上方法效率并不高。 而使用BulkLoad特性能够利用MR计算框架将源数据直接生成内部的hfile格式，然 ...
分类：
其他好文 时间：
2017-02-15 00:41:31
阅读次数：
238
1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不 ...
分类：
其他好文 时间：
2017-02-06 19:40:42
阅读次数：
234
1.hadoop，spark，Flink的比较 MapReduce: 分布式的计算框架 -> Hive 问题： shuffle：大文件的排序+读写磁盘+网络传输 => 比较慢 只有两种执行算子/API: MapTask(数据转换+过滤)和ReduceTask(数据聚合) ==> 定制化稍微有点差 不 ...
分类：
其他好文 时间：
2017-02-03 12:39:08
阅读次数：
158
MapReduce 是一个分布式计算框架，主要由两部分组成：编程模型和运行时环境. 其中，编程模型为用户提供了非常易用的编程接口，用户只需要像编写串行程序一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如节点间的通信、节点失效、数据切分等，全部由MapReduce 运行时环境完成... ...
分类：
其他好文 时间：
2017-01-24 18:52:25
阅读次数：
629
星星之火，可以燎原 Spark简介 Spark是一个开源的计算框架平台，使用该平台，数据分析程序可自动分发到集群中的不同机器中，以解决大规模数据快速计算的问题，同时它还向上提供一个优雅的编程范式，使得数据分析人员通过编写类似于本机的数据分析程序即可实现集群并行计算。 Spark项目由多个紧密集成的组... ...
分类：
其他好文 时间：
2017-01-21 16:08:04
阅读次数：
217
