package cn.spark.study.core;import java.util.Arrays;
import java.util.Iterator;
import java.util.List;import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apa...
分类：
编程语言 时间：
2016-05-07 08:13:42
阅读次数：
277
代码如下：packagecom.dt.spark.streaming
importorg.apache.spark.sql.SQLContext
importorg.apache.spark.{SparkContext,SparkConf}
importorg.apache.spark.streaming.{StreamingContext,Duration}
/**
*使用SparkStreaming结合SparkSQL对日志进行分析。
*假设电商网站点..
分类：
数据库 时间：
2016-05-05 07:09:52
阅读次数：
346
本期主要介绍下spark的内核架构。spark的应用程序总体来说，主要包括两部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，运行具体的业务逻辑。应用程序的提交有两种方式，1、Driver进程运行在客户端，对应用程序进行监控。2、主节点指定某个worke..
分类：
其他好文 时间：
2016-05-03 00:44:01
阅读次数：
142
一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark...
分类：
编程语言 时间：
2016-04-29 17:43:01
阅读次数：
230
一、Java方式开发1、开发前准备：假定您以搭建好了Spark集群。2、开发环境采用eclipsemaven工程，需要添加SparkStreaming依赖。3、Sparkstreaming基于SparkCore进行计算，需要注意事项：设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因..
分类：
编程语言 时间：
2016-04-28 12:31:33
阅读次数：
238
来自：http://stackoverflow.com/questions/26892389/org-apache-spark-sparkexception-job-aborted-due-to-stage-failure-task-from-app SparkConf conf = new Spa ...
分类：
其他好文 时间：
2016-04-28 09:20:37
阅读次数：
151
一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark...
分类：
编程语言 时间：
2016-04-26 19:41:05
阅读次数：
202
一、通过结构化数据创建DataFrame： publicstaticvoid main(String[] args) { SparkConf conf = new SparkConf() .setAppName("DataFrameCreate").setMaster("local"); JavaS ...
分类：
数据库 时间：
2016-04-04 17:49:50
阅读次数：
272
1.将多个文本文件读入一个RDD中 SparkConf conf=new SparkConf() .setMaster("local") .setAppName("save"); JavaSparkContext sc=new JavaSparkContext(conf); JavaRDD<Stri
分类：
其他好文 时间：
2016-03-10 20:16:00
阅读次数：
1598
// scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import o...
分类：
其他好文 时间：
2016-03-02 20:09:26
阅读次数：
181
