复制-Kafka的核心复制功能是Kafka架构的核心。在Kafka的文档里,Kafka把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性和持久性。Kafka使用主题来组织数据,每个主题被分为若干个分区,每个分区有多 ...
分类：
其他好文 时间：
2020-04-01 16:20:42
阅读次数：
64
一、访问流追踪 log-trace： 减少代码级别插入日志 详细调用访问链路 唯一请求id,方便搜索 二、日志实时展示 1. 日志收集 使用队列，采用发布订阅模式 Kafka/RabbitMq: 使用logback 配置appender AMQP 消费端直接读取 支持ELK Mqtt: IBM协议， ...
分类：
其他好文 时间：
2020-04-01 14:55:28
阅读次数：
65
一、说说前因后果elasticsearch,kafka,zookeeper,kibana,elasticsearch-head,logstash，logstash是需要经常重启的，你上了点过滤规则或者修改点啥的，每次都尼玛杀进程，再nohup，还看不到日志，这太不符合人性了，人性的优点之一就是懒惰。打开web界面，点一下鼠标解决问题岂不是棒棒哒，还能通过web界面看看后台日志，故而用supervi
分类：
其他好文 时间：
2020-04-01 11:08:17
阅读次数：
74
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。 基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。 不同的场景需要不同的解决方案 ...
分类：
其他好文 时间：
2020-04-01 11:00:57
阅读次数：
60
public class AvroDeserializationSchema<T> implements DeserializationSchema<T> { private static final long serialVersionUID = 1L; private final Class<T ...
分类：
其他好文 时间：
2020-03-31 22:52:42
阅读次数：
94
作者: 钟涛编译 来源：https://developer.51cto.com/art/202003/613487.htm Blog: https://blog.yilon.top 在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。 微服务、事件驱动架构和 C ...
分类：
其他好文 时间：
2020-03-31 12:02:14
阅读次数：
77
常规配置 常规配置指的是一些在使用单机安装时可以直接使用的默认值，这可以满足大部分的开发需求。但是在部署到其他环境时，需要格外小心，这些参数是单个服务器最基本的配置，他们中的大部分需要经过修改之后才可以用在生产环境里 broker.id 每个broker都需要有一个标识符，使用broker.id来表 ...
分类：
其他好文 时间：
2020-03-30 23:04:44
阅读次数：
70
1. 背景 上一篇介绍了如何利用Kafka Streams对实时消息流进行汇总求和。本篇将设定一个场景：我们引入一个Kafka topic表示电影票的销售，同时我们基于Kafka Streams编写一个程序来计算每年最卖座的电影票房以及最不卖座的电影票房。 2. 功能演示说明 假设我们要执行票房统计 ...
分类：
其他好文 时间：
2020-03-30 11:16:33
阅读次数：
80
https://blog.csdn.net/qq_28900249/article/details/90346599 1、为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰 解耦和扩展性 冗余 健壮性 异步通信 2、kafka的分区与消费者关系 分区（partition）kafka中的top ...
分类：
其他好文 时间：
2020-03-30 09:54:44
阅读次数：
91
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
