Apache Kafka 是 LinkedIn 基础设施的核心组件，最初是作为内部流式处理平台而诞生的，后来被开源出来，并得到了外部的广泛采用。虽然有很多公司和项目在使用 Kafka，但他们的数据规模很少能够达到 LinkedIn 这样。Kafka 被广泛地应用在 LinkedIn 的软件栈中，用于活动追踪、消息交换、指标收集，等等。LinkedIn 有 100 多个 Kafka 集群，其中包含了 4000 多个 broker，总共有 10 万多个 topic 和 700 万个分区。截止到目前，LinkedIn 的 Kafka 集群每天处理的消息数量超过了 7 万亿条。
分类：
其他好文 时间：
2019-11-09 00:24:55
阅读次数：
134
一、消息队列作用：解耦、削峰、缓冲（生产速度和消费速度不一致） 二、消息队列的两种模式：点对点模式（一对一）、发布订阅模式（一对多 1. 消费者主动拉取消息 2. 队列主动推消息） 三、基础架构： A、Broker kafka的一个进程（集群的一个节点） >>>Topic 主题，将数据分类 >>>P ...
分类：
其他好文 时间：
2019-11-08 19:08:51
阅读次数：
99
前言 项目中用到了Kafka 这种分布式消息队列来处理日志，本文将对Kafka的基本概念和原理做一些简要阐释 Kafka 的基本概念 官网解释： Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常 ...
分类：
其他好文 时间：
2019-11-08 17:37:05
阅读次数：
84
概述Kafka 的数据如何传输到HDFS？如果仔细思考，会发现这个问题并不简单。不妨先想一下这两个问题?1）为什么要将Kafka的数据传输到HDFS上？2）为什么不直接写HDFS而要通过Kafka?HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是... ...
分类：
其他好文 时间：
2019-11-08 12:07:39
阅读次数：
120
Kafka的用途有哪些？使用场景如何？ 消息系统： Kafka 和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 存储系统： Kafka 把消息持久化 ...
分类：
其他好文 时间：
2019-11-07 15:19:05
阅读次数：
107
1.什么是Telegraf？ Telegraf是一个用Go语言开发的代理程序，可用于收集和报告指标。Telegraf插件直接从其运行的系统中获取各种指标，从第三方API中提取指标，甚至通过StatsD和Kafka消费者服务来监听指标。它还具有输出插件，可以将指标发送到各种其他数据存储，服务和消息队列 ...
分类：
其他好文 时间：
2019-11-07 11:18:46
阅读次数：
90
其实最好的学习方式就是互相交流，最近也有跟网友讨论了一些关于 RocketMQ 消息拉取与重平衡的问题，我姑且在这里写下我的一些总结。 关于 push 模式下的消息循环拉取问题 之前发表了一篇关于重平衡的文章：「 "Kafka 重平衡机制" 」，里面有说到 RocketMQ 重平衡机制是每隔 20s ...
分类：
其他好文 时间：
2019-11-06 22:47:13
阅读次数：
114
First: Kafka 是什么？ Kafka 是一个发布订阅系统 最初是是LinkedIn 开发 最后交给Apache 开源组织 github地址：https://github.com/apache/kafka 是用java 和Scala 去开发的~ Kafka 现在主要用于 消息队列使用 Kaf ...
分类：
其他好文 时间：
2019-11-06 16:41:21
阅读次数：
92
写在前面的话 上一节谈了 Redis 的安装以及五种基本数据类型的一些简单的操作，本章节主要看看 Redis 的另外一些特征，虽然可能不常用，但是还是需要了解的。对于我们运维人员来讲，这些东西更像拓展的知识，可能我们工作很多年都不会用到，但是当你慢慢的需要往运维开发方向发展以后，这些东西就会成为你解 ...
分类：
其他好文 时间：
2019-11-06 14:59:00
阅读次数：
111
Offset存储模型 由于一个partition只能固定的交给一个消费者组中的一个消费者消费，因此Kafka保存offset时并不直接为每个消费者保存，而是以 groupid-topic-partition -> offset 的方式保存。 如图所示： Kafka在保存Offset的时候，实际上是将 ...
分类：
其他好文 时间：
2019-11-06 13:12:06
阅读次数：
61
