码迷,mamicode.com
首页 > 其他好文 > 详细

FusionInsight大数据开发---Kafka应用开发

时间:2019-07-26 17:43:39      阅读:145      评论:0      收藏:0      [点我收藏+]

标签:min   调用   配置参数   开发   容错   producer   时间   分布式   kafka集群   

Kafka应用开发

  1. 了解Kafka应用开发适用场景
  2. 熟悉Kafka应用开发流程
  3. 熟悉并使用Kafka常用API
  4. 进行Kafka应用开发

Kafka的定义
Kafka是一个高吞吐、分布式、基于发布订阅的消息系统
Kafka有如下几个特点:

  1. 高吞吐量
  2. 消息持久化到磁盘
  3. 分布式系统易扩展
  4. 容错性好

Kafka的适用场景

  1. 适用于离线和在线的消息消费
  2. 已对接组件
  3. Streaming、Spark、Flume

使用Kafka的好处

  • 解耦--使得消息生产、消费系统能够独立变更
  • 可靠--有效解决单点故障引发系统不可用问题
  • 易扩展--生产、消费系统扩展简单
  • 可恢复--消息缓存下来,支持故障从故障点读取
  • 异步通信--生产系统无需关心消费系统的消费时间

配置及开发准备--配置keytab文件到样例工程

  1. 配置Keytab到工程
  2. 安全认证
  3. Topic订阅
  4. 消费获取
  5. 消费处理


Kafka常用接口

  • Kafka集群安全访问端口默认为21007,非安全访问端口默认为21005

Kafka Producer接口

  1.  向管理员申请目标Topic的生产者权限
  2.  根据业务需求,配置发送相关配置参数
  3.  调用新Producer API接口发送数据

Kafka Consumer接口

    1. 向管理员申请目标Topic的消费者权限
    2. 根据业务需求,配置消费者相关配置参数
    3. 调用新Consumer API接口进行消息消费

FusionInsight大数据开发---Kafka应用开发

标签:min   调用   配置参数   开发   容错   producer   时间   分布式   kafka集群   

原文地址:https://www.cnblogs.com/cainiao-chuanqi/p/11251625.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!