MapReduce概述MapReduce源自Google的MapReduce论文，论文发表于2004年12月。HadoopMapReduce可以说是GoogleMapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。MapRe
分类：
其他好文 时间：
2018-03-31 23:07:58
阅读次数：
262
Hadoop 概述和结构 1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS. 2.HDSF HDFS 是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上 ...
分类：
其他好文 时间：
2018-03-28 18:48:54
阅读次数：
189
1.3Hadoop基础知识 1.3.1术语解释 1.Hadoop1.0 ? 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成 ? HDFS由一个NameNode和多个DataNode 组成 ? MapReduce由一个JobTracker和多个 TaskTrack ...
分类：
其他好文 时间：
2018-03-14 23:42:37
阅读次数：
259
HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。 因此Spark如何向HBase中写数据就成为很 ...
分类：
其他好文 时间：
2018-03-01 00:45:06
阅读次数：
660
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YAR ...
分类：
其他好文 时间：
2018-02-02 23:18:29
阅读次数：
198
一.概念 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对 ...
分类：
其他好文 时间：
2018-02-02 21:48:48
阅读次数：
186
hadoop的核心组件：hdfs（分布式文件系统）、mapreduce（分布式计算框架）、Hive（基于hadoop的数据仓库）、HBase（分布式列存数据库）、Zookeeper（分布式协作服务）、Sqoop（数据同步工具）和Flume（日志手机工具） hdfs（分布式文件系统）： 由client ...
分类：
其他好文 时间：
2018-01-20 00:24:52
阅读次数：
604
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Execut... ...
分类：
数据库 时间：
2017-11-26 18:40:39
阅读次数：
260
一、MapReduce是用于解决什么问题的？ 每一种技术的出现都是用来解决实际问题的，否则必将是昙花一现，那么MapReduce是用来解决什么实际的业务呢？ 首先来看一下MapReduce官方定义： 总结一句话：MapReduce就是批量处理海量数据的分布式计算框架。 在数据规模比较小时，如果要批量 ...
分类：
其他好文 时间：
2017-11-12 14:52:53
阅读次数：
110
