在刚刚过去的spark submit上，Matei Zahara简单回顾了下2014年spark的发展，可用一个词来概括那就是"Amazing"!!!那么2015年，spark 将主要精力放在哪些方面呢？一个是数据科学，即提供更高级的API接口，使得用户更易上手，像在单台机器上使用。主要的改变是：1...
分类：
其他好文 时间：
2015-03-29 20:55:12
阅读次数：
150
1. 作业提交方法以及参数我们先看一下用Spark Submit提交的方法吧，下面是从官方上面摘抄的内容。# Run application locally on 8 cores./bin/spark-submit \ --class org.apache.spark.examples.Spark....
分类：
其他好文 时间：
2015-03-05 08:06:06
阅读次数：
195
接下来进行打包，使用Project Structure的Artifacts：
使用From modules with dependencies：
选择Main Class：
点击“OK”:
把名称改为SparkDemoJar：
因为每台机器上都安装了Scala和Spark，所以可以把Scala和Spark相关的jar文...
执行语句：
sudo spark-submit --master yarn--driver-memory 7G --executor-memory 5G --executor-cores 24 --num-executors 4--class spark.init.InitSpark /home/hxf/gogo.jar>/home/hxf/dddd.txt2>&1;
执行过程：...
分类：
其他好文 时间：
2015-02-02 10:49:28
阅读次数：
179
spark在很多时候由于配置的原因造成缺少jar包的情况，本文介绍了两种缺少jar包情况，并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动态调用。...
分类：
编程语言 时间：
2014-12-09 17:54:48
阅读次数：
318
/**Spark SQL源代码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，并且发展速度异常迅猛，究其原因，个人觉得有下面2点： 1、整合：将SQL类型的查...
分类：
数据库 时间：
2014-11-09 09:51:02
阅读次数：
375
编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？
本文试就此做一个小小的总结。
分类：
Web程序 时间：
2014-10-26 21:11:13
阅读次数：
275
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
早在Spark Submit 2013里就有介绍到Spark SQL，不过更多的是介绍Catalyst查询优化框架。经过一年的开发，在今年Spark Submit 2014上，Databricks宣布放弃Shark 的开发，而转投Spark SQL，理由是Shark继承了Hive太多，优化出现了瓶颈，如图：
今天把Spark最新的代码签了下来，测试了一下：
1、编译Spar...
分类：
数据库 时间：
2014-07-03 16:06:04
阅读次数：
534
