Kafka Kafka是如何控制超时的？ 如何管理大量的topic，有哪些问题？ 零拷贝计数在Kafka中使用会有哪些副作用？ 为何大厂大规模实践中很少用Kafka？ 和其他MQ的比较：优缺点 多看源码 Mysql 项目中是如何分库分表保证服务不停机的 注册中心 注册中心需要满足CAP理论中的哪两个 ...
分类：
其他好文 时间：
2020-03-26 19:18:10
阅读次数：
56
本章目录 1、概述 2、安装配置计算节点 一、概述 计算节点上： "https://docs.openstack.org/nova/rocky/install/compute install.html" nova compute调用libvirtd来创建虚拟机 nova compute的功能可以分为 ...
分类：
其他好文 时间：
2020-03-25 23:51:17
阅读次数：
182
从头消费数据需满足两个条件： 1. groupid为新的 2. auto_offset_reset_config的值为earliest Properties p = new Properties(); p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "1 ...
分类：
其他好文 时间：
2020-03-25 23:47:02
阅读次数：
137
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
Flink1.10版本支持SQLDDL的特性，本文章以从kafka消费数据，写入jdbc为例介绍整个流程。具体操作如下：1.下载flink1.10的安装包并解压：https://www.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz进入flink的lib目录，采用wget或是本地下载拷贝的方式下载依赖的conne
分类：
数据库 时间：
2020-03-25 10:31:34
阅读次数：
483
Kafka-常用术语(消息、生产者、消费者、集群、broker解释) 消息和批次 kafka的数据单元被称为消息。类似于数据库表中的一行数据。 消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。 消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的 ...
分类：
其他好文 时间：
2020-03-24 21:43:11
阅读次数：
88
工作原因要用到flume来采集日志，简单接触后写下来一些，随更。详细请看官网http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#a-simple-example flume依赖Java环境，此版本至少要1.7以上的ja ...
分类：
Web程序 时间：
2020-03-24 16:06:45
阅读次数：
115
安装条件： 确保zookeeper已经安装成功。zookeeper安装过程见：上篇，或者https://www.cnblogs.com/expiator/p/9853378.html 1.下载kafka进入Apache官网 http://kafka.apache.org/downloads.html ...
分类：
系统相关 时间：
2020-03-24 10:43:21
阅读次数：
76
简介 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/ro ...
分类：
数据库 时间：
2020-03-23 09:54:02
阅读次数：
286
一、logstash结合kafka收集系统日志和nginx日志 架构图： 环境准备： A主机：kibana、elasticsearch，有条件可以将两个服务器分开：192.168.7.100 B主机：logstash主机:192.168.7.101/nginx服务器也在此主机上 C主机：logsta ...
分类：
其他好文 时间：
2020-03-23 09:48:02
阅读次数：
54
