1 package com.bawei.stream 2 3 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} 4 import org.apache.spark.streaming.{Seconds, ...
分类：
其他好文 时间：
2020-05-05 18:01:51
阅读次数：
55
1 package com.bawei.review01 2 3 import java.net.InetSocketAddress 4 5 import org.apache.kafka.clients.consumer.ConsumerRecord 6 import org.apache.kaf ...
分类：
其他好文 时间：
2020-05-05 17:47:17
阅读次数：
55
package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.h ...
分类：
其他好文 时间：
2020-04-27 09:35:22
阅读次数：
59
1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
原文链接： https://www.toutiao.com/i6764296608705151496/ 单词统计的是统计一个文件中单词出现的次数，比如下面的数据源 其中,最终出现的次数结果应该是下面的显示 那么在MapReduce中该如何编写代码并出现最终结果？ 首先我们把文件上传到HDFS中(hd ...
分类：
编程语言 时间：
2020-03-20 00:51:35
阅读次数：
96
题目： 思路： 思路很简单，只要分别统计chars中和每个单词中字母出现的个数，chars中的字母大于等于每个单词中的字母的个数，这个单词便是good 可以利用C++中的map实现，现在记录一种更灵活更常用的方式，凡是要统计字母个数，都可以这样处理： 创建一个数组vec[26]，每个位置分别存储的是 ...
分类：
其他好文 时间：
2020-03-17 22:36:19
阅读次数：
75
1、《CentOS6.5下安装Hadoop-2.7.3（图解教程）》 https://www.toutiao.com/i6627365258090512909/ 2、《CentOS6.5-Hadoop2.7.3安装hive-2.1.1》 https://www.toutiao.com/i662772 ...
分类：
其他好文 时间：
2020-02-02 14:10:28
阅读次数：
109
本篇我们将使用Java语言来实现Flink的单词统计。代码开发环境准备导入Flink 1.9 pom依赖 org.apache.flink flink-java 1.9.0 org.apache.flink flink-streaming-j... ...
分类：
编程语言 时间：
2020-01-31 13:58:49
阅读次数：
154
例一：对目录下的单词文件进行单词统计 /word/first.txt： /word/second.txt： /word/third.txt： 运行结果： import java.io.File; import java.io.PrintWriter; import scala.io.Source; ...
分类：
其他好文 时间：
2020-01-28 13:46:18
阅读次数：
76
spark的RDD操作 在上一节Spark经典的单词统计中，了解了几个RDD操作，包括flatMap，map，reduceByKey，以及后面简化的方案，countByValue。那么这一节将介绍更多常用的RDD操作，并且为每一种RDD我们分解来看其运作的情况。 spark的flatMap flat ...
分类：
其他好文 时间：
2020-01-12 10:08:52
阅读次数：
87
