学习spark任何技术之前，请正确理解spark，可以参考：正确理解spark我们在http://7639240.blog.51cto.com/7629240/1966131中已经知道了，一个scala函数其实就是java中的一个接口，对于java8lambda而言，也是一样，一个lambda表达式就是java中的一个接口。接下来我们先看看spark..
分类：
编程语言 时间：
2017-09-21 09:44:11
阅读次数：
202
学习任何spark知识点之前请先正确理解spark，可以参考：正确理解spark本文详细介绍了sparkkey-value类型的rddjavaapi一、key-value类型的RDD的创建方式1、sparkContext.parallelizePairsJavaPairRDD<String,Integer>javaPairRDD=
sc.parallelizePairs(Arrays.asList(newT..
分类：
编程语言 时间：
2017-09-20 00:52:23
阅读次数：
332
学习spark任何的知识点之前，先对spark要有一个正确的理解，可以参考：正确理解spark本文对join相关的api做了一个解释SparkConfconf=newSparkConf().setAppName("appName").setMaster("local");
JavaSparkContextsc=newJavaSparkContext(conf);
JavaPairRDD<Integer,Intege..
分类：
编程语言 时间：
2017-09-20 00:43:09
阅读次数：
220
RDDjavaapi其实底层是调用了scala的api来实现的，所以我们有必要对javaapi是怎么样去调用scalaapi，我们先自己简单的实现一个scala版本和java版本的RDD和SparkContext一、简单实现scala版本的RDD和SparkContextclassRDD[T](value:Seq[T]){
//RDD的map操作
defmap[U](f:T=>U)..
分类：
编程语言 时间：
2017-09-18 11:03:03
阅读次数：
213
packagecom.twq.javaapi.java7;
importorg.apache.spark.SparkConf;
importorg.apache.spark.api.java.JavaRDD;
importorg.apache.spark.api.java.JavaSparkContext;
importorg.apache.spark.api.java.function.Function2;
importorg.apache.spark.api.java.function.VoidFunc..
分类：
编程语言 时间：
2017-09-18 10:58:10
阅读次数：
190
以下对RDD的三种创建方式、单类型RDD基本的transformationapi、采样Api以及pipe操作进行了javaapi方面的阐述一、RDD的三种创建方式从稳定的文件存储系统中创建RDD，比如localfileSystem或者hdfs等，如下：//从hdfs文件中创建
JavaRDD<String>textFileRDD=sc.textFile("hd..
分类：
编程语言 时间：
2017-09-18 10:53:03
阅读次数：
264
前几月一直用一个Http的访问类去调用WebApi，说句实话最开始没觉有什么，一是技术老，二是觉得比较简单，但是最近我一直关注云开发和AI这块儿微软技术，看到云平台调用API大多类似，所以回想这个早年的调用方式，感觉有老汤炖肉之感，实用又有价值，可以作为认识调用API的学习和使用，回味无穷。 usi ...
分类：
Web程序 时间：
2017-07-03 12:21:56
阅读次数：
160
