当我们在运行作业的过程中也可以查看Web控制台的信息: 此时发现了一个作业ID,点击进入可以查看作业进一步的信息: ? 进一步看通过Web控制台看SparkWorker1中的Container中的运行信息: 刷新Web控制台:...
分类:
其他好文 时间:
2014-11-13 22:40:18
阅读次数:
231
也可以查看一下SparkWorker2上的运行情况:我们点击具体的Container查看其信息:程序运行结束后我们可以执行一下命令查看运行结果:也可通过HDFS控制台查看运行结果:可以通过Web控制的JobHistory查看历史工作记录:点击最近运行的WordCount作业进入历史作业详情:发现我们...
分类:
其他好文 时间:
2014-11-13 22:10:09
阅读次数:
193
1.SparkSpark是继Hadoop之后,另外一种开源的高效大数据处理引擎,目前已提交为apach顶级项目。效率:据官方网站介绍,Spark是Hadoop运行效率的10-100倍(随内存计算、磁盘计算的不同而不同)。语言:支持的语言包括java、scala、python等,此外还支持SQL查询。...
分类:
其他好文 时间:
2014-11-13 20:40:19
阅读次数:
129
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目...
结束historyserver的命令如下所示: ? 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的...
分类:
其他好文 时间:
2014-11-13 13:10:19
阅读次数:
166
当我们在运行作业的过程中也可以查看Web控制台的信息:此时发现了一个作业ID,点击进入可以查看作业进一步的信息:进一步看通过Web控制台看SparkWorker1中的Container中的运行信息:刷新Web控制台:
分类:
其他好文 时间:
2014-11-12 22:54:40
阅读次数:
241
大数据“火”的有段日子了,原来打算学习hadoop……后知道spark要比hadoop更牛,故而转学spark。其原码为scala所写,为了更好的研究spark,故又开始学习scala.将自己所学记录在此,不为点赞,只为加深记忆,加深理解…不是都说写一遍等于读十遍嘛……1、基本类型: Byte...
分类:
其他好文 时间:
2014-11-12 22:40:41
阅读次数:
257
目前,SPARK在大数据处理领域十分流行。尤其是对于大规模数据集上的机器学习算法,SPARK更具有优势。一下初步介绍SPARK在linux中的部署与使用,以及其中聚类算法的实现。...
分类:
编程语言 时间:
2014-11-12 21:21:04
阅读次数:
264
进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use ...
分类:
其他好文 时间:
2014-11-11 18:42:45
阅读次数:
226
笔记:在配置好了spark后,如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves,将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类:
其他好文 时间:
2014-11-11 14:08:26
阅读次数:
589