package kaggle import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.{SQLContext, SparkSession} import or... ...
分类：
其他好文 时间：
2017-05-26 16:38:01
阅读次数：
274
初识 Spark 大数据处理，目前还只是小白阶段，初步搭建起运行环境，慢慢学习之。 本文熟悉下 Spark 数据处理的几个经典案例。 Word Count 注意其中的几个问题： 正则表达式 "\\s+" 匹配任意空白字符 SparkConf Name 和 Master Level 必须设置，本地调试 ...
分类：
其他好文 时间：
2017-04-06 20:45:54
阅读次数：
316
Consumer代码 import org.apache.spark.SparkConf import org.apache.spark.streaming.StreamingContext import org.apache.spark.streaming.Seconds import org.a ...
分类：
其他好文 时间：
2017-03-30 17:02:50
阅读次数：
319
一、基础核心概念 1、StreamingContext详解 （一） 有两种创建StreamingContext的方式： val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new StreamingC ...
分类：
其他好文 时间：
2017-03-29 22:48:20
阅读次数：
163
val logFile = "./README.md" // Should be some file on your server. val conf = new SparkConf().setAppName("Simple Application").setMaster("local") val ...
分类：
其他好文 时间：
2017-03-26 19:18:26
阅读次数：
175
package sparkStreaming import org.apache.spark.SparkConf import org.apache.spark.streaming.Seconds import org.apache.spark.streaming.StreamingContext ... ...
分类：
数据库 时间：
2017-03-13 17:39:28
阅读次数：
319
import org.apache.log4j.{Level,Logger}import org.apache.spark.{SparkConf,SparkContext}import org.apache.spark.storage.StorageLevelimport org.apache.sp ...
分类：
其他好文 时间：
2017-02-17 17:02:10
阅读次数：
235
import org.apache.spark.SparkConf import org.apache.spark.SparkContext object MaxTemperaturer { def main(args: Array[String]): Unit = { var conf = new... ...
分类：
其他好文 时间：
2017-02-05 21:53:44
阅读次数：
176
1.mapValus(fun):对[K,V]型数据中的V值map操作(例1)：对每个的的年龄加2 object MapValues { def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setA ...
分类：
其他好文 时间：
2016-12-22 11:39:59
阅读次数：
227
如果是从pysparkshell里面进去，此时已经有了pyspark环境了，所以要加一个：sc.stop() from pyspark import SparkContext, SparkConfsc.stop()conf = SparkConf()conf.setAppName('zhangb') ...
分类：
其他好文 时间：
2016-11-29 19:04:45
阅读次数：
896
