object ScalaApp { def main(args: Array[String]): Unit = { var conf = new SparkConf() conf.setMaster("local") var sc = new SparkContext(conf) val lines... ...
分类：
其他好文 时间：
2019-01-20 15:03:57
阅读次数：
471
val conf = new SparkConf().setAppName("WordCount_groupBy").setMaster("local") // .set("spark.default.parallelism", "100") // 1. 调节并行度 .set("spark.exec... ...
分类：
其他好文 时间：
2019-01-08 19:20:41
阅读次数：
157
3.1 SparkContext概述 SparkConf负责配置参数，主要通过ConcurrentHaspMap来维护各种Spark的配置属性。 ...
分类：
其他好文 时间：
2018-12-24 18:19:51
阅读次数：
112
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的conf/spark-env.sh脚本设置 ...
分类：
其他好文 时间：
2018-11-30 00:43:12
阅读次数：
247
反射方式构建元数据: 通过反射来获取RDD中的Schema信息。这种方式适合于列名(元数据)已知的情况下 步骤: 1.SparkConf配置环境 2.SparkContext初始化上下文 3.SQLContext初始化SparkSQL上下文 4.创建一个普通的RDD(sc.textFile) 5.使 ...
分类：
其他好文 时间：
2018-11-24 14:21:32
阅读次数：
210
package com.wll; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; publi... ...
分类：
其他好文 时间：
2018-08-31 22:21:56
阅读次数：
151
# -*- coding:utf-8 -*- from pyspark import SparkContext, SparkConf from pyspark.streaming import StreamingContext import math appName = "jhl_spark_1" ... ...
分类：
其他好文 时间：
2018-08-27 18:24:53
阅读次数：
304
object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]") val sc = new Spark ...
分类：
其他好文 时间：
2018-07-23 19:56:12
阅读次数：
138
package com.bjsxt.spark.others.secondsort; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api. ...
分类：
其他好文 时间：
2018-06-18 11:55:07
阅读次数：
177
package com.bjsxt.spark.others; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkC ...
分类：
其他好文 时间：
2018-06-18 11:53:58
阅读次数：
160
