DAG：Directed Acyclic Graph，有向无环图 RDD：Resilient Distributed Dataset 弹性分布式数据集，一种分布式的内存抽象，将工作集缓存到内存中，实现了复用。 用户使用交互接口（Driver）与Spark集群的Cluster Manager进行交互， ...
分类：
其他好文 时间：
2018-03-06 23:09:20
阅读次数：
154
环境： 操作系统：windows10 虚拟机工具：VMware14.1 LINUX版本：Centos7.2 ...
分类：
编程语言 时间：
2018-02-24 15:07:04
阅读次数：
152
1：启动Spark Shell，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 启动Spark Shell，出现的错误如下所示： 2：解决方法，是你必须先启动你的Spark集群，这样再启动Spark Shel ...
分类：
编程语言 时间：
2018-02-22 21:28:43
阅读次数：
3123
spark集群搭建及介绍：敬请关注 数据集：http://pan.baidu.com/s/1sjYN7lF 总结：使用sparkR进行数据分析建模相比R大致有3-5倍的提升 查看原始数据集：通过iris数据集生成 [root@master data]#pwd /data [root@master d ...
分类：
其他好文 时间：
2018-02-09 22:29:44
阅读次数：
201
Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Execut ...
分类：
其他好文 时间：
2018-02-03 16:21:39
阅读次数：
185
1.上传 2.解压 3. 进入到Spark安装目录 cd 进入conf目录并重命名并修改spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh 在该配置文件中添加如下配置 expor ...
分类：
其他好文 时间：
2018-01-27 18:59:06
阅读次数：
170
处理这么大量的数据，背后的机器可能是数以千计，无法通过人工来监控机器的状态。因此，本文将介绍用 Kubernetes 容器管理工具，并通过简单示例，告诉你如何建立一个 Spark 集群。准备阶段1.需要拥有正在运行的 Kubernetes 集群，并使用 Kubectl 为其配置访问权限。如果你还没有可用的 Kubernetes 集群，则可以使用 Minikube 在本地计算机上设置测试集群 。我们
分类：
Web程序 时间：
2018-01-22 16:11:11
阅读次数：
291
Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。
分类：
其他好文 时间：
2018-01-08 11:04:56
阅读次数：
350
提交Spark程序的机器一般一定和Spark集群在同样的网络环境中（Driver频繁和Executors通信），且其配置和普通的Worker一致 1. Driver： 具有main方法的，初始化 SparkContext 的程序。Driver运行在提交Spark任务的机器上。 Driver 部分的代 ...
分类：
其他好文 时间：
2017-12-14 20:58:04
阅读次数：
106
目的 在spark-notebook中运行代码,提交到spark集群中实时运行 在HDFS中存储数据文件,在spark-notebook中直接读取 组件 Spark (Standalone模式, 1个master节点 + 多个worker节点) Spark-notebook Hadoop name ...
分类：
其他好文 时间：
2017-11-29 11:38:50
阅读次数：
262
