1：下载对应安装包 zookeeper-3.4.14.tar.gz：链接：https://pan.baidu.com/s/19_eYsv5r9bg0AKv3TzjpZQ 提取码：ik8a kafka_2.12-2.1.1.tgz： 链接：https://pan.baidu.com/s/1VcLtB1 ...
分类：
其他好文 时间：
2019-12-16 13:09:27
阅读次数：
198
ELK和EFK的区别在于 EFK有中间消息件，这个中间消息件可分为 redis 或者 kafka kafka负责收集客户端收集日志 总负责最后交给zookeeper，zookeeper负责把消息发送给logstash机器 logstash机器采集完发送给elasticsearch ，最后在kiban ...
分类：
其他好文 时间：
2019-12-16 10:18:34
阅读次数：
656
EFK 是ELK 日志分析的一个变种，能够更好的来实现日志分析。 首先我们先准备3台 centos7的服务器，在给他们调成2核2G的状态打开。 软件 版本号 zookeeper 3.4.14 Kafka 2.2.0 logstash 6.6.0 elasticsearch 6.6.2 jdk jdk ...
分类：
其他好文 时间：
2019-12-16 10:01:56
阅读次数：
88
1. 环境 CDH 5.16.1 kafka版本 2.1.0 kafka 4.0.0 ~~~ org.apache.kafka kafka_2.12 2.1.0 kafka 4.0.0 ~~~ 2.生产者 2.1 生产者，带回调函数 ~~~ package com.monk.kafka; impor ...
一.初始化环境 1.先安装好jdk和zookeeper 2.并启动zookeeper集群 3.准备三台服务器搭建kafka集群环境 二.下载kafka安装包 http://archive.apache.org/dist/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz 三 ...
分类：
其他好文 时间：
2019-12-15 18:46:08
阅读次数：
104
topN功能是一个非常常见的功能，比如查看最近几分钟的阅读最高数，购买最高数。 flink实现topN的功能也非常方便，下面就开始构建一个flink topN的程序。 还是像上篇博客一样，从kafka读取数据，然后进行计算和数据转换，最后sink到mysql中。 假设有个需求，实现一个统计每5分钟最 ...
分类：
其他好文 时间：
2019-12-15 12:39:52
阅读次数：
136
想入门一下Kafka的(装一下环境、看看Kafka一些概念啥的)。后来发现Kafka用到了ZooKeeper，而我又对ZooKeeper不了解，所以想先来学学什么是ZooKeeper，再去看看什么是Kafka。ZooKeeper相信大家已经听过这个词了，不知道大家对他了解多少呢？我第一次听到ZooKeeper的时候是在学Eureka的时候，同样ZooKeeper也可以作为注册中心。后面听到ZooK
分类：
其他好文 时间：
2019-12-15 01:25:54
阅读次数：
115
ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar ActiveMQ： 单机吞吐量：万级 可用性：高，基于主从架构实现高可用性 消息可靠性：有较低的概率丢失数据 功能支持：MQ领域的功能极其完备 总结： 非常成熟，功能强大，在早些年业内大量的公司以及项目中都有应用 偶尔会 ...
分类：
其他好文 时间：
2019-12-14 19:11:44
阅读次数：
137
cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。 node.name: "Franz Kafka"节点名，默认随机指定一个name列表中名字，该 ...
分类：
其他好文 时间：
2019-12-14 15:34:55
阅读次数：
128
ActiveMQ 单机吞吐量： 万级 topic数量都吞吐量的影响： 时效性： ms级 可用性： 高，基于主从架构实现高可用性 消息可靠性： 有较低的概率丢失数据 功能支持： MQ领域的功能极其完备 总结： 非常成熟，功能强大，在早些年业内大量的公司以及项目中都有应用 偶尔会有较低概率丢失消息 现在 ...
分类：
其他好文 时间：
2019-12-14 14:12:31
阅读次数：
84
