作者: 钟涛编译 来源：https://developer.51cto.com/art/202003/613487.htm Blog: https://blog.yilon.top 在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。 微服务、事件驱动架构和 C ...
分类：
其他好文 时间：
2020-03-31 12:02:14
阅读次数：
77
常规配置 常规配置指的是一些在使用单机安装时可以直接使用的默认值，这可以满足大部分的开发需求。但是在部署到其他环境时，需要格外小心，这些参数是单个服务器最基本的配置，他们中的大部分需要经过修改之后才可以用在生产环境里 broker.id 每个broker都需要有一个标识符，使用broker.id来表 ...
分类：
其他好文 时间：
2020-03-30 23:04:44
阅读次数：
70
1. 背景 上一篇介绍了如何利用Kafka Streams对实时消息流进行汇总求和。本篇将设定一个场景：我们引入一个Kafka topic表示电影票的销售，同时我们基于Kafka Streams编写一个程序来计算每年最卖座的电影票房以及最不卖座的电影票房。 2. 功能演示说明 假设我们要执行票房统计 ...
分类：
其他好文 时间：
2020-03-30 11:16:33
阅读次数：
80
https://blog.csdn.net/qq_28900249/article/details/90346599 1、为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰 解耦和扩展性 冗余 健壮性 异步通信 2、kafka的分区与消费者关系 分区（partition）kafka中的top ...
分类：
其他好文 时间：
2020-03-30 09:54:44
阅读次数：
91
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
Kafka-硬件的选择 磁盘吞吐量（重要，影响生产者） 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存，大多数客户端在发送消息后会一直等待，直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快，生成消息的延迟就越低。 磁盘容量（制约集群规模） ...
分类：
其他好文 时间：
2020-03-29 13:00:28
阅读次数：
102
原文：再过半小时，你就能明白kafka的工作原理了 会出现什么情况呢？ 1、为了这个女朋友，我请假回去拿（老板不批）。 2、小哥一直在你楼下等（小哥还有其他的快递要送）。 3、周末再送（显然等不及）。 4、这个女朋友我不要了（绝对不可能）！ 在上面例子中，“快递小哥”和“买女朋友的我”就是需要交互的 ...
分类：
其他好文 时间：
2020-03-27 13:00:35
阅读次数：
75
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
前言 在阿里巴巴技术发展初期，伴随着淘宝业务的快速发展，网站流量呈现几何级增长。单体巨无霸式的应用无法处理爆发式增长的流量，阿里内部从业务、组织层面进行了一次大的水平与垂直切分，拆分出用户中心、商品中心、交易中心、评价中心等平台型应用，分布式电商系统的雏形由此诞生。阿里的消息引擎就是在这样的大背景下 ...
分类：
其他好文 时间：
2020-03-26 21:53:20
阅读次数：
121
先描述下这里的业务：我们有一个父类A，多个继承A的AA类、AB类、AC类，多了一些不同的业务字段。业务分为多个端，如：甲端、乙端，通过kafka来交互数据，数据格式为一个VO，包含多个业务属性以外，还有一个List<A>属性引用类，这里实质内容还是AA、AB、AC类。甲端封装好对应的参数后，传递给乙 ...
分类：
编程语言 时间：
2020-03-26 19:48:31
阅读次数：
63
