1，测试或实验性质的本地运行模式 （单机） 该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。 如果是loca ...
分类：
其他好文 时间：
2018-02-27 01:00:51
阅读次数：
229
之前的文章大量的内容在和大家探讨分布式存储，接下来的章节进入了分布式计算领域。坦白说，个人之前专业的重心侧重于存储，对许多计算的内容理解可能不是和确切，如果文章中的理解有所不妥，愿虚心赐教。本篇将和大家聊一聊分布式计算的一个子集： 批处理 。 批处理系统通常也叫脱机系统 ，需要大量的输入数据，运行一 ...
分类：
移动开发 时间：
2018-02-23 22:18:57
阅读次数：
225
Apache Spark 内存管理详解 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的 ...
分类：
Web程序 时间：
2018-02-09 20:38:42
阅读次数：
195
一、什么是Hadoop？ Hadoop是Apache下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS,Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布 ...
分类：
其他好文 时间：
2018-02-07 14:44:49
阅读次数：
208
Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Execut ...
分类：
其他好文 时间：
2018-02-03 16:21:39
阅读次数：
185
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YAR ...
分类：
其他好文 时间：
2018-02-02 23:18:29
阅读次数：
198
一.概念 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对 ...
分类：
其他好文 时间：
2018-02-02 21:48:48
阅读次数：
186
Spark 安装配置与示例 Spark，它是大规模数据处理通用的并行化计算框架，基于MapReduce实现分布式计算，其中间结果可以保存在内存中，从而不再需要读写HDFS。Spark 是 Scala 语言实现的， Scala 也被用作其应用程序框架,Spark 和 Scala 能够紧密集成，Scal ...
分类：
其他好文 时间：
2018-01-29 19:14:52
阅读次数：
211
来自: "https://linux.cn/article 6624 1.html" Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台。当你计划构建一个云时，你首先需要决定如何实现你的存储。开源的 Ceph 是红帽原生技术之一，它基于称为 RADOS 的对象存储系统，用一组网关 AP ...
分类：
其他好文 时间：
2018-01-29 00:19:29
阅读次数：
219
hadoop体系结构杂谈 今天跟一个朋友在讨论hadoop体系架构，从当下流行的Hadoop+HDFS+MapReduce+Hbase+Pig+Hive+Spark+Storm开始一直讲到HDFS的底层实现，MapReduce的模型计算，到一个云盘如何实现，再到Google分布式史上那最伟大的三篇文 ...
分类：
其他好文 时间：
2018-01-23 01:04:50
阅读次数：
219
