在没有安装flink的情况下，试运行 wordcount 代码。代码如下： package bigdata.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api ...
分类：
其他好文 时间：
2019-11-22 01:09:59
阅读次数：
93
写熟悉的第一句代码 val conf = new SparkConf().setAppName("WordCount")点击SparkConf() ,发现 private val settings = new ConcurrentHashMap[String, String]() 可见 所有配置都是 ...
分类：
其他好文 时间：
2019-11-15 22:48:59
阅读次数：
156
求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce端汇总并且统计记录数，然后作 ...
分类：
其他好文 时间：
2019-11-15 12:19:47
阅读次数：
77
为了测试MapReduce提交的详细流程。需要在提交这一步打上断点： F7进入方法： 进入submit方法： 注意这个connect方法，它在连接谁呢？我们知道，Driver是作为客户端存在的，那么客户端连接的应该就是Yarn集群，但是在这个简单的WordCount案例中，并没有将任务提交到Yarn ...
分类：
其他好文 时间：
2019-11-13 22:01:42
阅读次数：
85
计算圆周率 # bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --executor-memory 1G \ --total-executor-cores 2 \ ./examples/jars/spark-example ...
分类：
其他好文 时间：
2019-11-12 23:11:45
阅读次数：
113
还是以经典案例Wordcount为例： 逻辑思路： 1.先把文本按空格切分成每个单词 flatMap() 2.将每个单词都转换成Tuple2类型(hello ,1) map() 3.将key相同的次数相加(hello , 5) reduceByKey() 4.将(hello , 5) 反转成(5 , ...
分类：
编程语言 时间：
2019-11-12 00:47:45
阅读次数：
85
scala的wordcount实例 package com.wondersgroup.myscala import scala.actors.{Actor, Future} import scala.collection.mutable.ListBuffer import scala.io.Sour ...
分类：
其他好文 时间：
2019-11-09 19:56:33
阅读次数：
99
实验要求及步骤 参考博客：https://blog.csdn.net/qq_41035588/article/details/90514824，但是创建的项目是Map/Reduce项目。其实创建Java项目也可以做，只是需要导入Map/Reduce项目所需要的jar包。 运行结果截图 出现的问题及解 ...
分类：
其他好文 时间：
2019-10-31 01:10:23
阅读次数：
105
实验6：Mapreduce实例——WordCount 实验说明： 1、 本次实验是第六次上机，属于验证性实验。实验报告上交截止日期为2018年11月16日上午12点之前。 2、 实验报告命名为：信1605-1班学号姓名实验六.doc。 实验目的 1.准确理解Mapreduce的设计原理 2.熟练掌握 ...
分类：
其他好文 时间：
2019-10-30 21:09:30
阅读次数：
86
实验内容： 现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，名为buyer_favorite1。 buyer_favorite1包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 要求编写MapReduce程序，统计每个买家收藏商品数量。 ...
分类：
其他好文 时间：
2019-10-30 20:00:54
阅读次数：
119
