Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。今天加米谷大数据就来简单介绍一下Hadoop的简史，以及学习Hadoop前要做哪些准备。狭义上，Hadoop就是单独指代Hadoop这个软件；广义上，Hadoop指代大数据的一个生态圈，包括很多其他的软件。Hadoop的起源1、2001年，Nutch问世
分类：
其他好文 时间：
2019-06-17 12:45:34
阅读次数：
123
ShuffleManager（一） 本篇,我们来看一下spark内核中另一个重要的模块，Shuffle管理器ShuffleManager。shuffle可以说是分布式计算中最重要的一个概念了，数据的join，聚合去重等操作都需要这个步骤。另一方面，spark之所以比mapReduce的性能高其中一个 ...
分类：
其他好文 时间：
2019-06-15 09:57:51
阅读次数：
87
简述 HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错 ...
分类：
其他好文 时间：
2019-06-14 12:51:16
阅读次数：
114
学习大数据必先学习Hadoop，因为它是目前世界上最流行的分布式数据处理框架、Hadoop是一个用于分布式大数据处理的编程框架 一、Hadoop介绍 1、开源大数据框架2、分布式计算的解决方案3、Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算） Hadoop的构造模块 Na ...
分类：
其他好文 时间：
2019-06-06 22:57:16
阅读次数：
119
参考文档： 十分钟看懂时序数据库（I）-存储 十分钟看懂时序数据库（II）- 预处理 十分钟看懂时序数据库（III）- 压缩 十分钟看懂时序数据库（IV）- 分级存储 十分钟看懂时序数据库（V）- 分布式计算 ...
分类：
数据库 时间：
2019-06-06 19:04:44
阅读次数：
157
1.阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS功能：是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上 pc server。 具有以下的功能：（1）高容错性 ： ...
分类：
其他好文 时间：
2019-06-03 17:08:11
阅读次数：
103
https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全MaxCompute主要服务于批量结构化数据的存储和计算，可以
分类：
其他好文 时间：
2019-05-29 16:19:25
阅读次数：
169
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软 ...
分类：
其他好文 时间：
2019-05-26 17:53:08
阅读次数：
109
hadoop相关子系统： Apache Hadoop是Apache的一个分布式计算开源框架，提供了一个分布式文件系统子项目（HDFS）和支持MapReduce分布式计算的软件架构 那什么是MapReduce呢？ 举例来说，统计一系列的文档中的词汇。文档数量规模很大，有1000万个文档，英文单词的总数 ...
分类：
其他好文 时间：
2019-05-22 11:02:14
阅读次数：
90
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据入门，需要学习以下这些知识点：在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习
分类：
其他好文 时间：
2019-05-14 16:15:34
阅读次数：
142
