from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAppName("My App")sc = SparkContext(conf = conf) pyspark的初始化，也就是入口， ...
分类：
其他好文 时间：
2017-12-05 12:02:49
阅读次数：
152
import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; im... ...
分类：
编程语言 时间：
2017-11-28 15:42:44
阅读次数：
350
package Spark_GraphX import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.graphx._ import org.apache.spark.graphx.util.GraphGener... ...
分类：
其他好文 时间：
2017-11-24 16:59:14
阅读次数：
204
package com.XXX import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkContext} //spark中的RDD测试 object RddTest { def mai... ...
from pyspark import SparkContext from pyspark import SparkConf string_test = 'pyspark_test' conf = SparkConf().setAppName(string_test).setMaster('yarn ...
分类：
编程语言 时间：
2017-10-30 19:41:16
阅读次数：
297
LocalSparkContext.scala import org.apache.spark.{SparkConf, SparkContext} import org.scalatest._ trait LocalSparkContext extends BeforeAndAfterAll { s ...
import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import scala.collectio... ...
分类：
其他好文 时间：
2017-10-16 22:05:21
阅读次数：
197
import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object DStream_socket { def main(args: Array[String]):... ...
分类：
其他好文 时间：
2017-10-15 21:21:17
阅读次数：
284
### scala源码 /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import... ...
分类：
其他好文 时间：
2017-10-15 00:30:33
阅读次数：
200
spark没有配置Python环境变量的时候使用Python只用spark时候回出现 from pyspark import SparkConf,SparkContentImportError: No module named pyspark 所以要在环境变量中配置 打开 vim /etc/prof ...
分类：
编程语言 时间：
2017-09-23 21:22:38
阅读次数：
179
