码迷,mamicode.com
首页 >  
搜索关键字:spark streaming源码解读    ( 7001个结果
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(7)
当我们在运行作业的过程中也可以查看Web控制台的信息: 此时发现了一个作业ID,点击进入可以查看作业进一步的信息: ? 进一步看通过Web控制台看SparkWorker1中的Container中的运行信息: 刷新Web控制台:...
分类:其他好文   时间:2014-11-13 22:40:18    阅读次数:231
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(8)
也可以查看一下SparkWorker2上的运行情况:我们点击具体的Container查看其信息:程序运行结束后我们可以执行一下命令查看运行结果:也可通过HDFS控制台查看运行结果:可以通过Web控制的JobHistory查看历史工作记录:点击最近运行的WordCount作业进入历史作业详情:发现我们...
分类:其他好文   时间:2014-11-13 22:10:09    阅读次数:193
初识Spark(Spark系列)
1.SparkSpark是继Hadoop之后,另外一种开源的高效大数据处理引擎,目前已提交为apach顶级项目。效率:据官方网站介绍,Spark是Hadoop运行效率的10-100倍(随内存计算、磁盘计算的不同而不同)。语言:支持的语言包括java、scala、python等,此外还支持SQL查询。...
分类:其他好文   时间:2014-11-13 20:40:19    阅读次数:129
在Windows上build Spark
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目...
分类:Windows程序   时间:2014-11-13 19:17:31    阅读次数:261
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
结束historyserver的命令如下所示: ? 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的...
分类:其他好文   时间:2014-11-13 13:10:19    阅读次数:166
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(7)
当我们在运行作业的过程中也可以查看Web控制台的信息:此时发现了一个作业ID,点击进入可以查看作业进一步的信息:进一步看通过Web控制台看SparkWorker1中的Container中的运行信息:刷新Web控制台:
分类:其他好文   时间:2014-11-12 22:54:40    阅读次数:241
scala 入门(01)
大数据“火”的有段日子了,原来打算学习hadoop……后知道spark要比hadoop更牛,故而转学spark。其原码为scala所写,为了更好的研究spark,故又开始学习scala.将自己所学记录在此,不为点赞,只为加深记忆,加深理解…不是都说写一遍等于读十遍嘛……1、基本类型: Byte...
分类:其他好文   时间:2014-11-12 22:40:41    阅读次数:257
SPARK在linux中的部署,以及SPARK中聚类算法的使用
目前,SPARK在大数据处理领域十分流行。尤其是对于大规模数据集上的机器学习算法,SPARK更具有优势。一下初步介绍SPARK在linux中的部署与使用,以及其中聚类算法的实现。...
分类:编程语言   时间:2014-11-12 21:21:04    阅读次数:264
Spark学习笔记-hadoop命令
进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use ...
分类:其他好文   时间:2014-11-11 18:42:45    阅读次数:226
Spark添加/更改集群节点需要修改的配置文件
笔记:在配置好了spark后,如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves,将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类:其他好文   时间:2014-11-11 14:08:26    阅读次数:589
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!