job是串行执行的， 执行完上一个才执行下一个 eg：Wordcount案例 val lines = sc.textFile("本地URL or HDFS URL")//详解见代码1 val words = lines.flatMap(line => line.split(" "))//也会返回一个 ...
分类：
其他好文 时间：
2020-01-25 00:56:57
阅读次数：
119
简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 ...
分类：
其他好文 时间：
2020-01-02 20:42:12
阅读次数：
81
本文在Windows端实现了WordCount功能
分类：
其他好文 时间：
2019-12-27 19:40:55
阅读次数：
100
Storm WordCount 工作过程 Storm 版本： 1、Spout 从外部数据源中读取数据，随机发送一个元组对象出去； 2、SplitBolt 接收 Spout 中输出的元组对象，将元组中的数据切分成单词，并将切分后的单词发射出去； 3、WordCountBolt 接收 SplitBolt ...
分类：
其他好文 时间：
2019-12-17 23:57:11
阅读次数：
171
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Update ...
分类：
其他好文 时间：
2019-12-11 19:24:49
阅读次数：
105
plugins: { type: [String, Array], default: 'lists image media wordcount advlist bbcode code charmap emoticons insertdatetime preview' }, toolbar: { ty ...
分类：
其他好文 时间：
2019-12-09 19:54:39
阅读次数：
1149
val words:Array[String]=Array("hello tom hello jim","hello hatno hello 菲菲")words.map(x=>x.split(" ")) .flatten .groupBy(x=>x) .map(wdKV=>(wdKV._1,wdKV ...
分类：
其他好文 时间：
2019-12-06 13:47:22
阅读次数：
91
import org.apache.spark.{SparkConf, SparkContext} object wc2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").s ...
分类：
其他好文 时间：
2019-12-03 15:30:38
阅读次数：
89
简述 WordCount（单词计数）作为大数据体系的标准示例，一直是入门的经典案例，下面用java和scala实现Flink的WordCount代码； 采用IDEA + Maven + Flink 环境；文末附 pom 文件和相关技术点总结； Java批处理版本 运行输出结果如下： Java流处理版 ...
分类：
编程语言 时间：
2019-11-28 19:14:57
阅读次数：
101
