简单的spark on yarn不需要什么额外的配置，只要?HADOOP_CONF_DIR和YARN_CONF_DIR配置在环境变量里，（然后spark standalone能跑起来，说明spark部署成功）。 启动spark的history server（spark on yarn日志监控...
分类：
其他好文 时间：
2015-09-21 19:49:55
阅读次数：
261
Spark是用Scala语言写的，所以要先把Scala学好，Scala的安装很简单：1、下载Scala:http://www.scala-lang.org/download/2、下载下来的是msi安装包，直接安装即可，安装过程中会自动帮你更新系统环境变量PATH，所以安装后无需使设置任何环境变量便可...
分类：
其他好文 时间：
2015-09-21 19:22:42
阅读次数：
118
一、命令? 1.向spark standalone以client方式提交job。 ./spark-submit?--master?spark://hadoop3:7077?--deploy-mode?client?--class?org.apache.spark.examples.SparkPi?../lib/spark-examples-1.3.0-h...
分类：
其他好文 时间：
2015-09-21 17:59:05
阅读次数：
210
构造分布式的Spark1.0.2集群下载Scala 2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；安装和配置Scala我们需要在ma...
分类：
其他好文 时间：
2015-09-21 17:29:06
阅读次数：
221
hadoop2的安装教程Spark可以直接安装在hadoop2上面，主要是安装在hadoop2的yarn框架上面安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本，选择对应的Scala和jdkScala的安装就是解压缩，然后配置环境变量，将Scala的执行命令配置到Path...
分类：
其他好文 时间：
2015-09-20 17:31:56
阅读次数：
152
现在各大网站预售中，估计9月底就能到货发售！京东：http://item.jd.com/11770787.html当当：http://product.dangdang.com/23776595.html亚马逊：http://www.amazon.cn/SparkInternals前言和目录附上，以便有需要了解的同学：诞生于2005年的Hadoop解决了大数据的存储和计算问题，已经成为大数据处理的事...
分类：
其他好文 时间：
2015-09-20 10:34:19
阅读次数：
223
Spark is a compelling multi-purpose platform for use cases that span investigative, as well as operational, analytics.Data science is a broad church. ...
分类：
Web程序 时间：
2015-09-19 15:12:30
阅读次数：
288
本节主要内容
Hadoop生态圈
Spark生态圈
1. Hadoop生态圈原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df92dc418df5a1083411b53325
下图给出...
分类：
其他好文 时间：
2015-09-19 13:54:25
阅读次数：
673
注意安装过程报错的：安装Nginx 是需要很多依赖文件库的，如果您的电脑已经有这些库，那就按下面这些步骤来走，就可以安装使用了，请看下面这些依赖库的安装介绍： 一般来说都需要安装pcre，zlib ，pcre是为了rewrite ，zlib 为了gzip压缩。 pcre的安装： a) 下载源码 ：f...
分类：
其他好文 时间：
2015-09-19 13:45:30
阅读次数：
182
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-09-19 08:31:57
阅读次数：
230
