码迷,mamicode.com
首页 >  
搜索关键字:scala spark    ( 10387个结果
【互动问答分享】第11期决胜云计算大数据时代Spark亚太研究院公益大讲堂
Q1:docker成熟度如何? Docker是2013年和2014年最火爆的云计算开源项目; Baidu公司是中国使用Docker最为深入和最大规模的公司,线上稳定运行数十万个Docker容器,目前已经使用Docker全面全面升级了自己的BAE,升级后的BAE无论是性能还是业务表现均超出预期;Q2:...
分类:其他好文   时间:2014-09-12 11:32:53    阅读次数:294
运维系列:01、Spark编译与打包
1、SBT编译vi project/SparkBuild.scala修改仓库:"Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类:其他好文   时间:2014-09-12 11:29:43    阅读次数:234
开发系列:02、使用Scala和SBT开发Spark应用
1、SBT添加插件.sbt/0.13/plugins/plugins.sbt 没用手工创建addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")addSbtPlugin("com.github.mpeltonen...
分类:其他好文   时间:2014-09-12 11:29:33    阅读次数:294
运维系列:07、spark-submit
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类:其他好文   时间:2014-09-12 11:29:13    阅读次数:175
原理系列:Spark1.x 生态圈一览
Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通...
分类:其他好文   时间:2014-09-12 11:27:23    阅读次数:293
开发系列:03、Spark Streaming Custom Receivers(译)
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类:其他好文   时间:2014-09-12 11:26:13    阅读次数:279
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(1)
第一步:通过Spark的shell测试Spark的工作 ? Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下: Step2:启动Spark Shell: 此时可以通过如下Web控制台查看shell的情况: Step3:把Spark安装目...
分类:其他好文   时间:2014-09-11 13:59:12    阅读次数:171
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(1)
第一步:通过Spark的shell测试Spark的工作Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下:Step2:启动Spark Shell:此时可以通过如下Web控制台查看shell的情况:Step3:把Spark安装目录“README.md”拷贝到HDFS系统...
分类:其他好文   时间:2014-09-11 13:52:12    阅读次数:228
openfire+spark+smack实现即时通讯
近公司项目需要用到即时通讯功能,经过调研发现openfire+spark+smack可以实现。在网上找了很久,资料都十分有限,即使有些朋友实现了也说的不清不楚。于是决定自己研究,耗时一周的时间实现了文字通讯和文件传输的功能。现发帖分享给有需要的朋友,也希望大家能够把自己的资料都分享出来,不要敝扫自珍...
分类:其他好文   时间:2014-09-11 13:49:01    阅读次数:170
即时通信Spark安装和配置
spark:Cross-platform real-time collaboration client optimized for business and organizations.Spark is a full-features instant messaging (IM) and group...
分类:其他好文   时间:2014-09-11 13:43:01    阅读次数:209
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!