生产者分区原则 1.指定partition编号的情况下,直接将指明的值直接作为partition值 2.没有指明partition值但有key的情况下,将key的hash值与topic的partition数进行取余得到partition值 3.没有partition值也没有key值的情况下,第一次调 ...
分类:
其他好文 时间:
2020-04-24 01:22:31
阅读次数:
72
ZooKeeper 3.6.0版本 kafka_2.12 2.4.1版本 ...
分类:
其他好文 时间:
2020-04-24 00:47:36
阅读次数:
130
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类:
系统相关 时间:
2020-04-23 12:02:24
阅读次数:
86
一、KafkaSink 1、按流内容分发到对应topic,隔天自动切换 在flink自带的kafka sink实现里,只支持写到固定topic,而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic,topic名前缀相同,后面跟ds字段值,需要进行改造 具体实现思路如 ...
分类:
其他好文 时间:
2020-04-22 19:44:07
阅读次数:
183
最近在做将kafka里面的业务日志写入到hbase 当中,然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除,但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下: 这个地方我们没有办法通过框定一个时间范 ...
分类:
系统相关 时间:
2020-04-22 16:12:15
阅读次数:
337
1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认 ...
分类:
其他好文 时间:
2020-04-22 13:03:17
阅读次数:
96
小编整理出一篇Java进阶架构师之路的核心知识,同时也是面试时面试官必问的知识点,篇章也是包括了很多知识点,其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty与RPC、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等等由于pdf文档里的细节内容实在过多所以只编辑了部分知识点的章节粗略的介绍下,每个章节小节点里面都
分类:
编程语言 时间:
2020-04-22 09:36:02
阅读次数:
112
消息队列1、为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ都有什么优点和缺点?2、如何保证消息队列的高可用?3、如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性?4、如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题?5、如何保证消息的顺序性?6、如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几
分类:
其他好文 时间:
2020-04-21 18:45:19
阅读次数:
60
In a previous blog post, we introduced exactly once semantics for Apache Kafka®. That post covered the various message delivery semantics, introduced ...
分类:
Web程序 时间:
2020-04-20 18:53:11
阅读次数:
71
1. ranger-hdfs plugin安装 1.1 安装ranger hdfs plugin软件包 # pwd /opt/app/ranger-release-ranger-1.2.0/target # tar -zxvf ranger-1.2.0-hdfs-plugin.tar.gz 1.2 ...
分类:
其他好文 时间:
2020-04-20 16:24:01
阅读次数:
169