1）Source中使用拦截器 kafka_key.sources.sources1.interceptors = i1kafka_key.sources.sources1.interceptors.i1.type = com.bigdata.flume.MyInterceptor$Builder k ...
分类：
Web程序 时间：
2019-12-28 22:35:37
阅读次数：
181
1.概述 最近有很多同学给笔者留言，说在安装Kafka Eagle的时候，会遇到一些问题，请教如何解决？今天笔者就在这里总结一下安装步骤，和一些安装的注意事项，以及解决方式。 2.内容 在安装Kafka Eagle之前，可能新接触的同学对Kafka Eagle不太了解，那我们现在简要介绍一下Kafk ...
分类：
其他好文 时间：
2019-12-28 09:30:10
阅读次数：
343
``` 10.100.2.21 node1 10.100.2.22 node2 10.100.2.23 node3 zookeeper soft nofile 65536 zookeeper hard nofile 65536 zookeeper soft nproc 65536 zookeeper... ...
分类：
其他好文 时间：
2019-12-27 23:42:15
阅读次数：
82
kafka安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包 Kafka官网下载安装包 http://kafka.apache.or ...
分类：
其他好文 时间：
2019-12-27 15:09:37
阅读次数：
94
本文的内容 如何用filebeat kafka es做一个好用，好管理的日志收集工具 放弃logstash，使用elastic pipeline gunicron日志格式与filebeat/es配置 flask日志格式与异常日志采集与filebeat/es配置 以上的配置 概况 我有一个HTTP请求 ...
分类：
Web程序 时间：
2019-12-24 18:55:28
阅读次数：
192
使用flink FlinkKafkaProducer 往kafka写入数据的时候要求使用EXACTLY_ONCE语义 本以为本以为按照官网写一个就完事，但是却报错了 代码 遇到问题 当 指定为 时，执行没有问题。 当 指定为 时，执行报下面的错误： 错误大意是： 事务超时大于broker允许的最大值 ...
分类：
其他好文 时间：
2019-12-24 18:23:29
阅读次数：
962
第一步 创建Zookeeper 下载完成后 修改 Zookeeper中的 zoo.cfg 修改 dataDir 、dataLogDir 集群模式 server.1=ServerIP:2888:3888 第二步 创建 kafka 检查 server.properties 是否正确 第三步 启动 Zoo ...
分类：
其他好文 时间：
2019-12-24 13:33:09
阅读次数：
128
如果只是为了开发 Kafka 应用程序，或者只是在生产环境使用 Kafka，那么了解 Kafka 的内部工作原理不是必须的。不过，了解 Kafka 的内部工作原理有助于理解 Kafka 的行为，也利用快速诊断问题。下面我们来探讨一下这三个问题 Kafka 是如何进行复制的 Kafka 是如何处理来自 ...
分类：
其他好文 时间：
2019-12-23 13:46:36
阅读次数：
112
一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景 以下介绍消息队 ...
分类：
其他好文 时间：
2019-12-22 16:27:19
阅读次数：
104
