码迷,mamicode.com
首页 > Web开发 > 详细

Apache Kafka用例

时间:2019-05-11 21:27:06      阅读:183      评论:0      收藏:0      [点我收藏+]

标签:sage   ini   content   组织   img   实时监控   解释   网络   项目   

1.目标

在我们上一篇Kafka教程中,我们讨论了Kafka Pros and Cons今天,在这篇Kafka文章中,我们将讨论Apache Kafka用例和Kafka应用程序。Kafka是新数据堆栈中的关键技术之一,在过去几年中,开发人员对Kafka的使用感兴趣。虽然,如果你不了解Kafka,它是一个高度可扩展的发布 - 订阅消息系统。此外,还有几个Kafka用例和Kafka应用程序。

那么,让我们一个一个地讨论Apache Kafka的Kafka用例和应用。

技术图片

Apache Kafka用例和Kafka的应用

2. Apache Kafka用例和应用程序

让我们来讨论Kafka用例:
看看前5个Apache Kafka书籍

一世。卡夫卡用例

Apache Kafka有很多用例。所以,我们在这里列出一些最常见的用例 -

技术图片

卡夫卡用例

一个。卡夫卡消息

众所周知,Kafka是一个分布式发布 - 订阅消息传递系统因此,对于一个更传统的消息经纪人来说,Kafka可以作为替代品。出于各种原因,我们使用Message经纪人。例如,将处理与数据生成器分离,缓冲未处理的消息等等。
但是,与大多数其他邮件系统相比,Kafka具有更好的吞吐量,内置分区,复制和容错功能。这使其成为大规模消息处理应用程序的良好解决方案。

湾 网站活动跟踪

为了能够将用户活动跟踪管道重建为一组实时发布 - 订阅源,它是Kafka的原始用例。这意味着站点活动将发布到中心主题,每个活动类型包含一个主题。此处,网站活动是指用户可能采取的网页浏览,搜索或其他操作。
让我们探索卡夫卡的特色

C。卡夫卡指标

对于运行监控数据,经常使用Kafka。此外,为了生成操作数据的集中式提要,它包括聚合来自分布式应用程序的统计信息。

d。Kafka日志聚合

为了从多个服务中收集日志并以标准格式向多个消费者提供这些日志,我们可以在整个组织中使用Kafka。

即 流处理

但是,有一些流行的框架可以从主题中读取数据,对其进行处理,并将处理后的数据写入新主题,然后可供用户和应用程序使用,例如Storm和Spark Streaming流处理的背景下,Kafka的强大耐用性也非常有用。

F。Kafka活动采购

基本上,当状态更改记录为按时间排序的记录序列时,事件源是一种应用程序设计风格。此外,我们可以说Kafka是以这种风格构建的应用程序的优秀后端。因为它支持非常大的存储日志。
让我们用命令修改Apache Kafka Operations

G。提交日志

虽然它涉及到分布式系统,但Kafka可以作为一种外部提交日志。通常,它在节点之间复制数据。此外,还充当失败节点恢复其数据的重新同步机制。Kafka中日志压缩的功能有助于支持这种用法。但是,在这种用法中,Kafka与Apache BookKeeper项目相同。

现在,让我们转向Kafka Applications。

II。Apache Kafka应用程序

技术图片

卡夫卡应用程序

Kafka支持当今许多最好的工业应用。所以,我们在这里列出了Kafka最值得注意的一些应用:

一个。推特

Twitter是最好的Kafka应用程序之一。着名的在线社交网络服务或平台Twitter使用Kafka。基本上,它提供了一种发送和接收用户推文的方法。通过这个平台,注册用户可以阅读和发布推文,但未注册的用户只能阅读推文。但是,它使用Storm-Kafka作为其流处理基础架构的一部分。

湾 LinkedIn

另一个Kafka应用程序是LinkedIn。对于活动流数据和运营指标,LinkedIn使用Apache Kafka。有一些产品,如LinkedIn Newsfeed,LinkedIn Today,用于在线消息消费,除??了像Hadoop这样的离线分析系统,Kafka消息系统可以帮助LinkedIn。此外,我们可以说Kafka的强大耐久性也是与LinkedIn相关的关键因素之一。

C。Netflix公司

一家美国跨国点播互联网流媒体供应商Netflix也使用Kafka。基本上,为了实时监控和事件处理,它使用Kafka。

d。Mozilla的

1998年,Netscape的成员创建了一个免费软件社区Mozilla。为了从最终用户浏览器收集遥测,测试飞行员等项目的性能和使用数据,Kafka很快将取代Mozilla当前生产系统的一部分。
让我们学习Kafka Performance Tuning - Kafka Optimization的方法

即 神谕

基本上,Oracle的企业服务总线产品称为OSB(Oracle Service Bus),它提供了与Kafka的本地连接。为了实现分阶段数据管道,允许开发人员利用OSB内置中介功能。

所以,这完全是关于Kafka的Kafka用例和应用程序。希望你喜欢我们的解释。

3.结论

因此,我们已经看到了几个Kafka用例以及Apache Kafka的应用程序。但是,如果对Kafka用例和应用程序有任何疑问,请随时在评论部分询问。
另请参阅 -  
带有薪资趋势的Apache Kafka职业范围
参考Kafka

Apache Kafka用例

标签:sage   ini   content   组织   img   实时监控   解释   网络   项目   

原文地址:https://www.cnblogs.com/a00ium/p/10849936.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!