kafka 相关的知识进入 /usr/local/kafka 目录下查看端口 vim zookeeper.properties #文件中dataDir=/tmp/zookeeper代表zookeeper数据存储路径，clientPort=2182代表zookeeper的端口号为：2182，消费者需要 ...
分类：
其他好文 时间：
2020-01-13 20:22:45
阅读次数：
124
Kafka: https://mp.weixin.qq.com/s/lXds_G5LLs7CArMLyTAF6g 为什么每一个爬虫工程师都应该学习 Kafka : https://mp.weixin.qq.com/s/NtBPMRhmtcI3JgMQ5oqaVQ 真的，关于 Kafka 入门看这一篇 ...
分类：
其他好文 时间：
2020-01-13 18:16:07
阅读次数：
81
大数据相关资料 课程环境 Virtual Box 4.1安装 1、使用课程提供的Virtual Box安装包，一步一步安装即可。Oracle_VM_VirtualBox_Extension_Pack-4.1.40-101594.vbox-extpack。2、之所以选用Virtual Box是因为它比 ...
分类：
系统相关 时间：
2020-01-13 18:05:58
阅读次数：
106
KafkaConfig.java package com.niugang.config; import java.util.HashMap; import java.util.Map; import org.apache.kafka.clients.consumer.ConsumerConfig; ...
分类：
编程语言 时间：
2020-01-13 14:33:55
阅读次数：
107
启停 （下面操作，都已配置环境变量） 1. 先启动zookeeper 2. 启动kafka 3. 关闭kafka topic 创建一个topic topic的分区会被创建在当前主机，每个分区的副本会分配到集群的其他机器； 比如下面例子： 在master上创建了两个分区：first 0、first 1 ...
分类：
其他好文 时间：
2020-01-13 13:07:00
阅读次数：
72
ack应答机制 有三个值： 0：producer不需要确认消息，直接发送消息给leader，有没有收到消息，producer不管； 上图中去掉5、6步；速度块，安全性最低（当broker故障，会 丢失数据 ）。 1：producer发送消息，确保leader写入成功，followers不管；上图中， ...
分类：
其他好文 时间：
2020-01-13 12:54:21
阅读次数：
496
kafka的bin目录下有很多脚本，其中kafka-console-producer.sh是生产者脚本、kafka-console-consumer.sh是消费者脚本，下面用这两个脚本进行模拟发送消息和接收消息。在前面的3篇中已经介绍了kafka的配置。按照步骤启动zookeeper和kafka。 ...
分类：
其他好文 时间：
2020-01-12 22:18:30
阅读次数：
129
去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。此篇介 ...
分类：
其他好文 时间：
2020-01-12 22:11:42
阅读次数：
466
https://www.cnblogs.com/huxi2b/p/6061110.html 1.老版本的kafka的offset是维护在zk上的，新版本的kafka把consumer的offset维护保存在kafka的内部topic上 bin/kafka-simple-consumer-shell. ...
分类：
其他好文 时间：
2020-01-12 20:24:17
阅读次数：
94
