Spring Boot 自定义kafka 消费者配置 ContainerFactory最佳实践 本篇博文主要提供一个在 SpringBoot 中自定义 kafka配置的实践，想象这样一个场景：你的系统需要监听多个不同集群的消息，在不同的集群中topic冲突了，所以你需要分别定义kafka消息配置。 ...
分类：
编程语言 时间：
2020-04-26 20:53:05
阅读次数：
122
背景保证kafka高吞吐量的另外一大利器就是消息压缩。就像上图中的压缩饼干。压缩即空间换时间，通过空间的压缩带来速度的提升，即通过少量的cpu消耗来减少磁盘和网络传输的io。消息压缩模型消息格式V1kafka不会直接操作单条消息，而是直接操作一个消息集合。消息格式V2:1,抽取了消息的公共部分放到消息集合中；去掉每条消息的公共部分，减少了总体积。2，消息的CRC校验由对每一条消息，移动到了对消息集
分类：
其他好文 时间：
2020-04-26 15:27:48
阅读次数：
81
1.什么是SpringClould? SpringCloud是一个基于SpringBoot实现的微服务架构开发工具。它为微服务架构中涉及的配置管理、服务治理、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。 2.SpringCloud组件 ...
分类：
编程语言 时间：
2020-04-25 17:03:54
阅读次数：
188
前言本文收集整理了各大厂常见面试题N道，你想要的这里都有内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka、Linux等技术栈，希望大家都能找到适合自己的公司，开开心心的撸代码。目录由于题量较多，篇幅的限制，文章中的面试题
分类：
其他好文 时间：
2020-04-24 01:34:03
阅读次数：
47
生产者分区原则 1.指定partition编号的情况下，直接将指明的值直接作为partition值 2.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值 3.没有partition值也没有key值的情况下，第一次调 ...
分类：
其他好文 时间：
2020-04-24 01:22:31
阅读次数：
72
ZooKeeper 3.6.0版本 kafka_2.12 2.4.1版本 ...
分类：
其他好文 时间：
2020-04-24 00:47:36
阅读次数：
130
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
一、KafkaSink 1、按流内容分发到对应topic，隔天自动切换 在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造 具体实现思路如 ...
分类：
其他好文 时间：
2020-04-22 19:44:07
阅读次数：
183
最近在做将kafka里面的业务日志写入到hbase 当中，然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除，但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下： 这个地方我们没有办法通过框定一个时间范 ...
分类：
系统相关 时间：
2020-04-22 16:12:15
阅读次数：
337
1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认 ...
分类：
其他好文 时间：
2020-04-22 13:03:17
阅读次数：
96
