码迷,mamicode.com
首页 >  
搜索关键字:spark sort-based shuffle内幕彻底解密    ( 7004个结果
基于xmpp openfire smack开发之openfire介绍和部署[1]
前言http://blog.csdn.net/shimiso/article/details/8816558Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本,目前建议使用...
分类:系统相关   时间:2014-11-18 13:12:55    阅读次数:379
spark1.1.0部署standalone分布式集群
配置三个节点的spark集群,集群模式为standalone模式,其中sp1节点作为主节点,sp2节点和sp3节点为从节点。***注意所有操作均为root用户。 创建3个CentOS虚拟机,如下: sp1 192.168.1.21 //master节点 sp2 192.168.1.22 //slav...
分类:其他好文   时间:2014-11-18 11:43:26    阅读次数:237
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)
第二步:构造分布式的Spark1.0.2集群1,下载Scala2.10.4,具体下载地址:http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载;2,安装和配置Scala...
分类:其他好文   时间:2014-11-17 22:39:09    阅读次数:213
Apache Spark技术实战之7 -- CassandraRDD高并发数据读取实现剖析
本文就spark-cassandra-connector的一些实现细节进行探讨,主要集中于如何快速将大量的数据从cassandra中读取到本地内存或磁盘。
分类:Web程序   时间:2014-11-17 22:33:25    阅读次数:492
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(10)
在SparkWorker1?和SparkWorker2上使用jps会看到如下进程信息: 第二步:启动Spark集群 在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin目录下“start-all.sh”: 此时的SparkWorker1和SparkWo...
分类:其他好文   时间:2014-11-17 21:23:05    阅读次数:184
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(8)
也可以查看一下SparkWorker2上的运行情况:我们点击具体的Container查看其信息:程序运行结束后我们可以执行一下命令查看运行结果:也可通过HDFS控制台查看运行结果:可以通过Web控制的JobHistory查看历史工作记录:点击最近运行的WordCount作业进入历史作业详情:发现我们...
分类:其他好文   时间:2014-11-17 21:01:18    阅读次数:164
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(10)
在SparkWorker1和SparkWorker2上使用jps会看到如下进程信息:第二步:启动Spark集群在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin目录下“start-all.sh”:此时的SparkWorker1和SparkWorker2会出现新的进程“...
分类:其他好文   时间:2014-11-17 21:01:04    阅读次数:182
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(7)
当我们在运行作业的过程中也可以查看Web控制台的信息:此时发现了一个作业ID,点击进入可以查看作业进一步的信息:进一步看通过Web控制台看SparkWorker1中的Container中的运行信息:刷新Web控制台:
分类:其他好文   时间:2014-11-17 20:58:21    阅读次数:137
HTML&PHP学习笔记(1)
Item Quantity Tires Oil Spark Plugs How did you find Bob's? 标签用于为用户输入创建 HTML 表单。表单能够包含input 元素,比如文本字段、复选框、单选框、提交按钮等等。表单用于向服务器传输数据。 ...
分类:Web程序   时间:2014-11-17 17:25:57    阅读次数:271
Spark学习(一) 基本操作
先来一个简单的spark小程序...
分类:其他好文   时间:2014-11-16 21:40:38    阅读次数:378
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!