码迷,mamicode.com
首页 >  
搜索关键字:spark streaming jobscheduler    ( 7564个结果
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(2)
安装Spark ? Master、Slave1、Slave2这三台机器上均需要安装Spark。 首先在Master上安装Spark,具体步骤如下: 第一步:把Master上的Spark解压: 我们直接解压到当前目录下: 此时,我们创建Spark的目录“/usr/...
分类:其他好文   时间:2014-09-09 13:52:59    阅读次数:167
Spark 1.0 开发环境构建:maven/sbt/idea
主要包含使用maven和sbt编译spark源码。还有配置idea等。...
分类:其他好文   时间:2014-09-07 01:07:54    阅读次数:202
Apache Spark技术实战之4 -- 利用Spark将json文件导入Cassandra
本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库,这是一个使用spark的综合性示例。
分类:Web程序   时间:2014-09-06 15:59:03    阅读次数:276
Spark集群安装(一)
需要的软件包:Spark1.0.2Scala2.10.4一、安装ScalaRpm–ivhscala-2.10.4.rpm#安装scalaScala–version#检查刚刚安装的scala版本Scalacoderunnerversion2.10.4--Copyright2002-2013,LAMP/EPFL[hadoop@hadoop2~]$scala#进入scala命令行交互模式做简单运算看下运行结果:至此,sc..
分类:其他好文   时间:2014-09-05 16:29:12    阅读次数:199
【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】Q1:Spark on Yarn的运行方式是什么?Spark on Yarn的运行方式有两种:Client和Cluster模 Client模式如下所示: ...
分类:其他好文   时间:2014-09-05 14:15:31    阅读次数:177
常见计算框架算子层对比
背景 前段时间在为内部自研的计算框架设计算子层,参考对比了一些开源的计算框架的算子层,本文做一个粗粒度的梳理。 下面这张图是我对计算框架抽象层次的一个拆分,具体可以参考上周日杭州Spark meetup上我做的Spark SQL分享 slides。...
分类:其他好文   时间:2014-09-05 10:07:32    阅读次数:157
openfire+spark+smack 即时通讯(一)---Openfire 的安装和配置
openfire是一个即时通讯服务器,也称之为即时通讯平台。它是基于XMPP协议的,大家所熟悉的通讯软件QQ、MSN和Gtalk等等,其中Gtalk就是基于XMPP协议的实现。 在即时通讯中往往因为需要保存一些状态或者数据所以不能采用点对点通讯,而是需要搭建服务器来转发。 下载地址:http://www.igniterealtime.org/downloads/index.jsp 下载完...
分类:其他好文   时间:2014-09-05 10:04:11    阅读次数:193
spark on yarn提交任务时一直显示ACCEPTED
spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。注:spark?on?yarn是不需要启动spark集群的,只需要在提交任...
分类:其他好文   时间:2014-09-04 19:36:00    阅读次数:562
【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】 ? Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如下所示: Cluste...
分类:其他好文   时间:2014-09-04 19:35:40    阅读次数:326
Spark、Shark集群安装部署及遇到的问题解决
1.部署环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive:0.11.0JDK:1.7.0_60Python:2.6.6(spark集群需要python2.6以上,否则无法在spark集...
分类:其他好文   时间:2014-09-04 18:59:49    阅读次数:267
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!