RDD的saveAsTextFile方法会首先生成一个MapPartitionsRDD，该RDD通过雕工PairRDDFunctions的saveAsHadoopDataset方法向HDFS等输出RDD数据的内容，并在在最后调用SparkContext的runJob来真正的向Spark集群提交计算任务。
分类：
其他好文 时间：
2015-12-16 12:49:12
阅读次数：
126
实验室有4台服务器（8个GPU/台），平日都只使用了其中的一个GPU，实在暴遣天物！于是决定使用docker安装部署Spark集群，将这些GPU都利用起来训练CNN。本文是博主含泪写出的踩坑总结，希望能够给各位提供了一些前车之鉴来避开这些坑。...
分类：
编程语言 时间：
2015-11-06 22:31:30
阅读次数：
987
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。内容包括spark脚本文件解析、Spark几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark任务调度等。3.Spark编程模型，介绍Spark编程模..
分类：
其他好文 时间：
2015-10-13 12:22:05
阅读次数：
242
Spark集群环境搭建2015年09月27日中秋节，祝中秋快乐团圆1安装jdk略2安装scala在http://www.scala-lang.orgscala官网下载安装包，这里以scala-2.11.7为例：1）下载scala-2.11.7.tgz2）在目录下解压缩：tar-xzvfscala-2.11.7.tgz3）配置环境变量，在/etc/profile中添加以下的内..
分类：
其他好文 时间：
2015-09-27 11:19:35
阅读次数：
169
构造分布式的Spark1.0.2集群下载Scala 2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；安装和配置Scala我们需要在ma...
分类：
其他好文 时间：
2015-09-21 17:29:06
阅读次数：
221
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-09-19 08:31:57
阅读次数：
230
本文将接受 Spark 集群的部署方式，包括无 HA、Spark Standalone HA 和 基于 ZooKeeper 的 HA 三种。 环境：CentOS6.6 、 JDK1.7.0_80 、 关闭防火墙 、 配置好 hosts 和 SSH 免密码、Spark1.5.0 一. 无 HA 方式 ...
分类：
其他好文 时间：
2015-09-15 00:18:31
阅读次数：
238
RDD简介 在Spark集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed DataSet，RDD），它是逻辑集中的实体，在集群中的多台集群上进行数据分区。通过对多台机器上不同RDD分区的控制，能够减少机器之间的数据重排（Data Shuffle...
分类：
其他好文 时间：
2015-09-14 00:30:20
阅读次数：
253
Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分...
分类：
其他好文 时间：
2015-08-26 23:54:32
阅读次数：
404
1. windows简单java程序调用Spark，执行Scala开发的Spark程序，这里包含两种模式：
1> 提交任务到Spark集群，使用standAlone模式执行；
2> 提交任务到Yarn集群，使用yarn-client的模式；
2. windows 开发java web程序调用Spark，执行Scala开发的Spark程序，同样包含两种模式，参考1.
3. linux运行java web程序调用Spark，执行Scala开发的Spark程序，包含两种模式，参考1....
分类：
编程语言 时间：
2015-08-26 14:02:57
阅读次数：
309
