技术回顾系列:最新最热门的技术大事 第一周 每一周我们都会回顾一下上周发生的有趣的事情,现在让我们来看看上周都发生了哪些事情吧: Apache Kafka 2.5.0发布了 Apache软件基金会在四月16日发布了最新的Apache Kafka 2.5.0版本。 该版本包含了最新的安全更新,新的指标 ...
分类:
其他好文 时间:
2020-04-28 09:23:55
阅读次数:
60
(1)Producer的API 1、发送流程:Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccum ...
通过KafkaUtils.createDirectStream该方法创建kafka的DStream数据源,传入有三个参数:ssc,LocationStrategies,ConsumerStrategies。 LocationStrategies有三种策略:PreferBrokers,PreferCo ...
分类:
其他好文 时间:
2020-04-27 19:04:15
阅读次数:
657
kafka集群管理工具kafka manager部署安装 kafka manager 是雅虎开源的apache kafka管理工具,是用Scala写,所以在web页面进行操作即可。 github地址:https://github.com/yahoo/CMAK 安装步骤 下载并编译源码 注意:编译需要 ...
分类:
其他好文 时间:
2020-04-27 17:55:05
阅读次数:
127
金三银四即将结束,最近也整理了不少的面试题,现在把所有的面试题归纳在一起并分享出来,内容涵盖了JVM、Java集合、Java多线程并发、Java基础、spring原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、设计模式、负载均衡、数据库、一致性算法、Java算法、数据结构、加密算法、分布式缓存、Hado
分类:
编程语言 时间:
2020-04-27 17:48:50
阅读次数:
55
金三银四即将结束,最近也整理了不少的面试题,现在把所有的面试题归纳在一起并分享出来,内容涵盖了JVM、Java集合、Java多线程并发、Java基础、spring原理、微服务、Netty与RPC、网络、日志、Zookeeper、Kafka、RabbitMQ、Hbase、MongoDB、Cassandra、设计模式、负载均衡、数据库、一致性算法、Java算法、数据结构、加密算法、分布式缓存、Hado
分类:
编程语言 时间:
2020-04-27 17:43:29
阅读次数:
57
从自上而下的角度去理解 Kafka 竟然发现了很多之前学习过程中忽略掉的东西 更特别地是,我发现这种学习方法能够帮助我维持较长时间的学习兴趣,不会阶段性地产生厌烦情绪 Apache Kafka 是消息引擎系统,也是一个分布式流处理平台 LinkedIn 最开始有强烈的数据强实时处理方面的需求,其内部 ...
分类:
其他好文 时间:
2020-04-27 13:42:32
阅读次数:
68
Kafka 属于分布式的消息引擎系统 它的主要功能是提供一套完备的消息发布与订阅解决方案 在 Kafka 中,发布订阅的对象是主题(Topic),你可以为每个业务、每个应用甚至是每类数据都创建专属的主题 我们把生产者和消费者统称为客户端(Clients) 向主题发布消息的客户端应用程序称为生产者(P ...
分类:
其他好文 时间:
2020-04-27 13:38:33
阅读次数:
59
Apache Kafka 是一款开源的消息引擎系统 “消息队列”“消息中间件”的提法想必你一定是有所耳闻的 这类系统引以为豪的消息传递属性,就像引擎一样,具备某种能量转换传输的能力 消息引擎系统的功能 消息引擎传输的对象是消息; 如何传输消息属于消息引擎设计机制的一部分 既然消息引擎是用于在不同系统 ...
分类:
其他好文 时间:
2020-04-27 13:29:10
阅读次数:
62