kafka高可用 并发写 每一个分区都是一个顺序的、不可变的消息队列， 并且可以持续的添加。分区中的消息都被分了一个序列号，称之为偏移量(offset)，在每个分区中此偏移量都是唯一的。 并发读 数据组织模式 读写 消费者可以从 1.zk拉数据 2,kafka拉数据 探究kafka p和消费者个数之 ...
分类：
其他好文 时间：
2018-07-05 21:35:50
阅读次数：
174
本文主要讲解kafka日常运维的命令，包括topic管理、性能测试脚本。 kafka版本0.10.0，安装步骤见 "大数据平台搭建 kafka集群的搭建" 常用脚本 如下所有的命令均基于 ,服务器列表如下： 10.20.112.59 10.20.112.64 10.20.112.65 10.20.1 ...
分类：
其他好文 时间：
2018-07-04 20:10:10
阅读次数：
366
熟悉 Kafka的同学肯定知道，每个主题有多个分区，每个分区会存在多个副本，本文今天要讨论的是这些副本是怎么样放置在 Kafka集群的 Broker 中的。 大家可能在网上看过这方面的知识，网上对这方面的知识是千变一律，都是如下说明的： 为了更好的做负载均衡，Kafka尽量将所有的Partition ...
分类：
其他好文 时间：
2018-07-03 14:51:05
阅读次数：
177
环境描述服务器名称系统配置Srv01.contoso.comCentOS 7、Kafka_2.11-1.1.0IP:172.16.100.10Srv02.contoso.comCentOS 7、Kafka_2.11-1.1.0IP:172.16.100.20Srv03.contoso.comCentOS 7、Kafka_2.11-1.1.0IP:172.16.100.30Zookeeper集群安装
分类：
其他好文 时间：
2018-07-01 11:56:32
阅读次数：
117
跨集群数据镜像 跨集群镜像的使用场景 1.区域集群和中心集群 2.冗余，发生紧急情况下使用第二个集群，保存相同的数据。 3.云迁移 多集群架构 跨集群中心通信的一些现实情况 1.高延迟 2.有限的宽带 3.高成本 hub和spoke架构 这种架构适用于一个中心kafka集群对应多个本地kafka集群 ...
分类：
其他好文 时间：
2018-06-29 00:02:36
阅读次数：
201
前段时间公司的一个kafka集群出现了故障，由于之前准备不足，当时处理的比较慌乱。如：由于kafka的集群里topic数量较多，并且每个topic的分区数量和副本数量都不是一样的，如果按部就班的一个一个的去创建队列，估计集群恢复时黄瓜菜都凉了。 对于kafka集群出现故障，最快的处理办法，就是重建集 ...
分类：
其他好文 时间：
2018-06-22 23:55:34
阅读次数：
205
1.概述 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafk ...
分类：
其他好文 时间：
2018-06-17 10:52:32
阅读次数：
195
网上关于kafka集群的搭建，基本是单个broker和单个zookeeper，测试研究的意义不大。于是折腾了下，终于把正宗的Kafka集群搭建出来了，在折腾中遇到了很多坑，后续有时间再专门整理份搭建问题分析 docker compose.yml配置文件 启动集群 查看容器启动状态 ...
分类：
其他好文 时间：
2018-06-15 20:05:19
阅读次数：
1363
HBase物理数据模型然后是不存储的。先修改配置，然后设置其他的节点，进行相关的配置。Hbase通过Create创建删除查看表的结构Hive数据表的结构首先是，创建数据报表的结构，mkdirPut放入数据Scala数据Kafka集群消费者，producer和consumer
分类：
其他好文 时间：
2018-06-07 15:38:07
阅读次数：
127
