1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上，可以通过spark.storage.memoryFaction调低...
分类：
其他好文 时间：
2014-09-12 11:35:43
阅读次数：
234
安装配置hosts配置： 用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类：
其他好文 时间：
2014-09-12 11:35:33
阅读次数：
197
Q1：docker成熟度如何？ Docker是2013年和2014年最火爆的云计算开源项目； Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期；Q2：...
分类：
其他好文 时间：
2014-09-12 11:32:53
阅读次数：
294
1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类：
其他好文 时间：
2014-09-12 11:29:43
阅读次数：
234
1、SBT添加插件.sbt/0.13/plugins/plugins.sbt 没用手工创建addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")addSbtPlugin("com.github.mpeltonen...
分类：
其他好文 时间：
2014-09-12 11:29:33
阅读次数：
294
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通...
分类：
其他好文 时间：
2014-09-12 11:27:23
阅读次数：
293
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类：
其他好文 时间：
2014-09-12 11:26:13
阅读次数：
279
HTTP应用流媒体分析
严格意义上，基于HTTP的VOD不算是真的流媒体，英文称为“progressive downloading”或者“pseudo streaming”，为什么这样呢？因为HTTP缺乏流媒体基本的流控，由此基于HTTP协议很难实现媒体播放的快进，快退，暂停。那么，通常的媒体播放器又是如何利用HTTP来实现这样的功能呢？
我们都知道，不管媒体文件有多大，HTT...
分类：
其他好文 时间：
2014-09-12 10:18:03
阅读次数：
199
第一步：通过Spark的shell测试Spark的工作 ? Step1:启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下： Step2:启动Spark Shell： 此时可以通过如下Web控制台查看shell的情况： Step3:把Spark安装目...
分类：
其他好文 时间：
2014-09-11 13:59:12
阅读次数：
171
