调优概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利 ...
分类：
其他好文 时间：
2016-11-08 11:29:33
阅读次数：
210
Solving a Spark error: Invalid signature file digest for Manifest main attributes When using spark-submit to run a jar, you may encounter this error: ...
分类：
其他好文 时间：
2016-11-01 18:56:06
阅读次数：
310
不急，循序渐进，先打好基础 Spark shell的原理 首先，我们清晰定位找到这几个。 1、spark-shell 2、 spark-submit 3、spark-class 4、SparkSubmit.scala 5、SparkILoop.scala createSparkContext的源码 ...
分类：
系统相关 时间：
2016-09-25 11:55:52
阅读次数：
220
当使用spark连接hive时，无论是通过spark-submit提交作业，还是使用spark-shell,spark-sql 都会报以下错误： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExcep ...
分类：
其他好文 时间：
2016-08-09 09:26:29
阅读次数：
4378
看了spark的原始论文和相关资料，对spark中的一些经常用到的术语学习了一下，记录下。 1，Application application（应用）其实就是用spark-submit提交到spark的程序。比方说spark examples中的计算pi的SparkPi。一个application通 ...
分类：
移动开发 时间：
2016-07-24 19:21:45
阅读次数：
459
1.Spark提交任务./spark-submit--class"com.prime.dsc.mention.main.WordCountForSpark"--masterspark://DEV-HADOOP-01:7077/data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar2.Spark本地运行SparkConfsparkConf=newSparkConf().setAppNa..
分类：
其他好文 时间：
2016-07-06 18:48:54
阅读次数：
362
1.Spark提交任务./spark-submit--class"com.prime.dsc.mention.main.WordCountForSpark"--masterspark://DEV-HADOOP-01:7077/data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar2.Spark本地运行SparkConfsparkConf=newSparkConf().setAppNa..
分类：
其他好文 时间：
2016-07-06 18:47:37
阅读次数：
190
一、代码 二、运行截图 命令：spark-submit --master yarn --jars /opt/test/data/oracle.jdbc_10.2.0.jar --name OracleRead --class com.sgcc.hj.JdbcTest--executor-memory ...
分类：
数据库 时间：
2016-06-21 10:47:04
阅读次数：
1830
原因：默认情况下每个节点分配的执行内存为1G解决办法：方法一：valconf=newSparkConf().setAppName("appname").set("spark.executor.memory","6g")方法二：修改spark-env.sh添加：exportSPARK_EXECUTOR_MEMORY=8G
分类：
编程语言 时间：
2016-06-01 06:56:28
阅读次数：
1083
任务提交流程概述
在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了，本文继续分析整个Executor的启动与任务提交流程
Spark-submit提交一个任务到集群通过的是Spark-submit
通过启动脚本的方式启动它的主类，这里以WordCount为例子
`spark-submit –class cn.itcas...
分类：
其他好文 时间：
2016-04-22 20:58:09
阅读次数：
395
