./bin/spark-shell --master spark://MASTER:PORT启动集群模式:MASTER=spark://`hostname`:7077 bin/spark-shellbin/spark-shell --master spark://es122:7077单机模式:bin...
分类:
其他好文 时间:
2014-09-12 11:52:33
阅读次数:
183
1、POM.xml 1 3 4.0.0 4 5 org.hansight.spark 6 examples 7 0.0.1-SNAPSHOT 8 jar 9 10 examples 11 http://maven.apac...
分类:
编程语言 时间:
2014-09-12 11:43:53
阅读次数:
345
单机运行Standalone使用Spark本身提供的资源管理器,可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具:Chef
分类:
其他好文 时间:
2014-09-12 11:41:33
阅读次数:
156
Spark 0.6.0开始支持此功能准备:运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置:环境变量:SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量,可以省略。 例如:SPARK_YARN_USER_ENV="JAVA_H...
分类:
其他好文 时间:
2014-09-12 11:38:33
阅读次数:
222
1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上,可以通过spark.storage.memoryFaction调低...
分类:
其他好文 时间:
2014-09-12 11:35:43
阅读次数:
234
安装配置hosts配置: 用户: useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类:
其他好文 时间:
2014-09-12 11:35:33
阅读次数:
197
Q1:docker成熟度如何? Docker是2013年和2014年最火爆的云计算开源项目; Baidu公司是中国使用Docker最为深入和最大规模的公司,线上稳定运行数十万个Docker容器,目前已经使用Docker全面全面升级了自己的BAE,升级后的BAE无论是性能还是业务表现均超出预期;Q2:...
分类:
其他好文 时间:
2014-09-12 11:32:53
阅读次数:
294
1、SBT编译vi project/SparkBuild.scala修改仓库:"Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类:
其他好文 时间:
2014-09-12 11:29:43
阅读次数:
234
1、SBT添加插件.sbt/0.13/plugins/plugins.sbt 没用手工创建addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")addSbtPlugin("com.github.mpeltonen...
分类:
其他好文 时间:
2014-09-12 11:29:33
阅读次数:
294
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类:
其他好文 时间:
2014-09-12 11:29:13
阅读次数:
175