前前后后各种问题不断终于实现集群部署，特做如下记录，因为zookeeper 和 kafka 都依赖于java 环境，因此需要装jdk。 通过ftp 上传 apache-zookeeper-3.5.6-bin.tar.gz jdk-8u241-linux-x64.tar.gz kafka_2.13-2 ...
分类：
其他好文 时间：
2020-01-29 20:01:25
阅读次数：
90
ETCD 日志收集项目 为什么要自己写不用ELK? ELK: 部署的时候麻烦每一个filebeat都需要配置一个配置文件 使用etcd来管理被收集的日志项。 项目的架构 上节课项目进度 1. kafka：消息队列 2. tailf：从文件里读日志 3. go ini：解析配置文件 今日内容 etcd ...
分类：
其他好文 时间：
2020-01-29 10:58:36
阅读次数：
193
https://blog.csdn.net/vegetable_bird_001/article/details/51858915 主要优化原理和思路 kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点： 利用了磁盘连续读写性能远远高于随机读写的特点； 并发，将一个t ...
分类：
其他好文 时间：
2020-01-28 23:05:24
阅读次数：
84
一、kafka的基础架构 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 kafka的具体架构如图： 学习kafka的架构前，我们需要了解图中的每个角色： （1）consumer group 消费者组：这是kafka消息队列特有的角色，它是一堆消费组组合成的。消 ...
分类：
其他好文 时间：
2020-01-28 20:47:17
阅读次数：
139
技术选型： 网关：Nginx、Kong、Zuul 缓存：Redis、MemCached、OsCache、EhCache 搜索：ElasticSearch、Solr 熔断：Hystrix、resilience4j 负载均衡：DNS、F5、LVS、Nginx、OpenResty、HAproxy 注册中心 ...
分类：
其他好文 时间：
2020-01-28 00:04:36
阅读次数：
122
1-生产者消费者问题 1. 使用栈来存放数据 1.1 把栈改造为支持线程安全 1.2 把栈的边界操作进行处理，当栈里的数据是0的时候，访问pull的线程就会等待。 当栈里的数据是200的时候，访问push的线程就会等待2. 提供一个生产者（Producer）线程类，生产随机大写字符压入到堆栈3. 提 ...
分类：
编程语言 时间：
2020-01-27 19:22:24
阅读次数：
68
LogAgen的工作流程： 一.读日志 －－tailf 第三方库 新建tail_test/main.go 执行下面的命令： 二. 往kafka写日志－－sarama window安装方法参考; https://docs.qq.com/doc/DTmdldEJJVGtTRkFi Ubuntu18.04 ...
分类：
其他好文 时间：
2020-01-27 09:21:43
阅读次数：
84
目录 简介 Kafka架构 Kafka存储策略 Kafka删除策略 Kafka broker Kafka Design The Producer The Consumer 复制（Replication） 日志压缩（Log Compaction） Distribution Zookeeper协调控制 ...
分类：
其他好文 时间：
2020-01-26 19:24:21
阅读次数：
67
使用Kafka自带的kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group)，这是0.11.0.0版本提供的新功能，设置的前提是：consumer group状态是inactive的，即不能是处于正在工作中的状态。重设位移的流程由下面3步组成：1、确定位 ...
分类：
其他好文 时间：
2020-01-25 23:42:39
阅读次数：
549
使用Kafka作为消息中间件消费数据时，监控Kafka消费的进度很重要。其中，在监控消费进度的过程中，主要关注消费Lag。 常用监控Kafka消费进度的方法有三种，分别是使用Kafka自带的命令行工具、使用Kafka Consumer API和Kafka自带的JMX监控指标，这里介绍前两种方法。 注 ...
分类：
其他好文 时间：
2020-01-25 16:44:02
阅读次数：
120
