2019/2/19星期二MapReduce计算框架高级特性程序运行并发度所谓的并发度，就是在MapReduce执行程序的过程中有多少个maptask进程和reducetask进程，来一起完成程序的处理。MapReduce就是把业务处理逻辑变成分布式来处理。reducetask数量的决定机制//全局的聚合操作由业务场景决定1、业务逻辑需要2、数据量大小设置方法：job.setNumReduceTas
分类：
其他好文 时间：
2019-02-19 15:14:40
阅读次数：
198
2019/2/18星期一MapReduce计算框架Mapreduce是一个分布式的运算编程框架，核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上；为什么要MAPREDUCE（1）海量数据在单机上处理因为硬件资源限制，无法胜任，因为需要采用分布式集群的方式来处理。（2）而一旦将单机版程序扩展到集群来分布式运行，将极大地增加程序的复杂度和开发难度（3）引入mapreduce框架后
分类：
其他好文 时间：
2019-02-18 18:54:04
阅读次数：
174
https://github.com/Roemer/NetDist A Gearman powered application consists of three parts: a client, a worker, and a job server ...
分类：
其他好文 时间：
2019-02-15 13:35:32
阅读次数：
152
先从网上copy一些优势点 1、高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。 2、适合批处理它是通过移动计算而不是移动数据。它会把数据位置暴露给计算框架。 3、适合大数据处理处理数据达到 GB、T ...
分类：
其他好文 时间：
2019-01-31 13:04:52
阅读次数：
204
由阿里巴巴统一大数据计算平台MaxCompute研发团队，历经1年多研发，打破大数据、科学计算领域边界，完成第一个版本并开源。 Mars，一个基于张量的统一分布式计算框架。使用 Mars 进行科学计算，不仅使得完成大规模科学计算任务从MapReduce实现上千行代码降低到Mars数行代码，更在性能上有大幅提升。
分类：
其他好文 时间：
2019-01-21 17:11:04
阅读次数：
228
1.hive的介绍 什么是hive：Hive是基于hadoop的一个数据仓库工具，实质就是一款基于hdfs的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。 hive的工作方式：把存放在hive中的数据都抽象成一张二维表格，提供了一个类似于sql语句的操作方式，这些sql语句最终被hive的底层翻译成为MapReduce程序，最终在h
分类：
其他好文 时间：
2019-01-13 21:40:37
阅读次数：
208
https://blog.csdn.net/u010697988/article/details/70173104 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主 ...
分类：
其他好文 时间：
2019-01-12 15:26:19
阅读次数：
148
实验目标 搭建一个Hadoop系统，包含分布式文件系统HDFS、分布式计算框架MapReduce。 实验原理 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还 ...
分类：
其他好文 时间：
2019-01-12 10:31:40
阅读次数：
211
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
一、SparkStreaming的介绍（1）为什么要有SparkStreaming？ Hadoop的MapReduce及SparkSQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐、实时网站性能分析等，流式计算可以解决这些问题。目前有三种比较常用的流式计算框架，它们分别是Storm，SparkStreaming和fink。（2）SparkStreamin
分类：
其他好文 时间：
2019-01-06 22:04:55
阅读次数：
190
