大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。但是，大数据需要学习什么？01思维导图下面的是我之前整理的一张思维导图，内容分成几大块，包括了分布式计算与查询，分布式调度与管理，持久化存储，大数据常用的编程语言等等内容，每个大类下有很多的开源工具。创一个小群，供大家学习交流聊天如果有对学大数据方面有什么
分类：
编程语言 时间：
2019-01-12 19:57:05
阅读次数：
208
https://blog.csdn.net/u010697988/article/details/70173104 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主 ...
分类：
其他好文 时间：
2019-01-12 15:26:19
阅读次数：
148
实验目标 搭建一个Hadoop系统，包含分布式文件系统HDFS、分布式计算框架MapReduce。 实验原理 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上运行或重新运行。此外，Hadoop还 ...
分类：
其他好文 时间：
2019-01-12 10:31:40
阅读次数：
211
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
主要内容来自维基百科 先上一张图大略直观感受一下： 分布式系统是联网计算机组，其工作目标相同。术语“ 并发计算 ”，“ 并行计算 ”和“分布式计算”有很多重叠，它们之间没有明显的区别。[15]同一系统可以表征为“并行”和“分布式”; 典型分布式系统中的处理器并行运行。[16]并行计算可以被看作分布式 ...
分类：
其他好文 时间：
2019-01-08 00:59:54
阅读次数：
211
一、背景介绍 在接触过大数据相关项目的时候常常都会听到Hadoop这个东西，简单来说，他是一个用分布式计算来处理大数据的开源软件，下面包含了许多的组件和子项目，这篇文章将会介绍Hadoop的原理以及一些组件的应用。 二、准备工作 1、确认储存规模 有很多的大数据项目其实数据量跟本没这么大，跟本不需要 ...
分类：
其他好文 时间：
2019-01-05 19:53:11
阅读次数：
179
是一个并行计算框架（计算的数据源比较广泛 HDFS、RDBMS、NoSQL），Hadoop的 MR模块充分利用了HDFS中所有数据节点（datanode）所在机器的内存、CUP以及少量磁盘完成对大数据集的分布式计算。MapReduce将计算分为两个阶段： 1. 通过将一个大的计算任务分割成若干个小任 ...
分类：
其他好文 时间：
2019-01-04 21:59:10
阅读次数：
207
一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复
分类：
其他好文 时间：
2018-12-30 12:51:29
阅读次数：
204
1. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 ...
分类：
其他好文 时间：
2018-12-29 11:54:39
阅读次数：
193
