build.gradle添加implementation libs.slf4jApi ...
分类：
其他好文 时间：
2021-04-30 12:19:59
阅读次数：
0
1、连接demo是采用的这篇博客中的内容： https://blog.csdn.net/weixin_39098944/article/details/108067005 主要代码如下： （1）添加依赖 1 <dependency> 2 <groupId>org.apache.kafka</grou ...
分类：
编程语言 时间：
2021-04-30 12:13:39
阅读次数：
0
1. 搭建测试环境安装 1.1 下载并启动docker-compose容器 # 该 Docker Compose 中包含的容器有： # DataGen：数据生成器。容器启动后会自动开始生成用户行为数据，并发送到 Kafka 集群中。默认每秒生成 1000 条数据，持续生成约 3 小时。也可以更改 d ...
分类：
数据库 时间：
2021-04-28 11:43:18
阅读次数：
0
Kafka 基本术语 对于 Kafka 基本原理的介绍，可以通过对以下基本术语的介绍进行。 2.1.1 Topic 主题。在 Kafka 中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。 topic 相当于消息的分类标签，是一个逻辑概念。 2.1.2 Partition 分 ...
分类：
其他好文 时间：
2021-04-26 13:52:08
阅读次数：
0
#计算Spark StorageMemory Heap内存 tag: Spark, Spark Memory, Spark Storage Memory 2021-04-23 21:26:25 星期五 version: spark-2.4.5 Executor 进程 org.apache.spark ...
分类：
其他好文 时间：
2021-04-24 13:38:45
阅读次数：
0
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 ...
分类：
其他好文 时间：
2021-04-24 13:30:06
阅读次数：
0
kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类：
其他好文 时间：
2021-04-24 13:16:11
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:19:08
阅读次数：
0
>>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted( ...
分类：
其他好文 时间：
2021-04-23 12:18:32
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:10:50
阅读次数：
0
