升级Kafka集群的版本其实很简单，核心步骤只需要4步，但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。为此，笔者在本机搭了一个测试环境进行实际的版本升级实验。在开始之前，简要介绍一下测试环境的部署情况及目标：Kafka 0.10.0.0 双br ...
分类：
其他好文 时间：
2017-03-09 14:32:59
阅读次数：
797
关于Kafka 根据Kafka官方的文档，Kafka可以被认为一个高大上的集群消息中间件，但是读了下以前一个朋友给的部署文档和Kafka的官方的文档。发现Kafka确实不错，真的可以说是集群消息中间件。 用topic来进行消息管理，每个topic包含多个part，每个part对应一个逻辑log，有多 ...
分类：
其他好文 时间：
2017-03-08 13:57:24
阅读次数：
103
阿里云服务器现象1：查看filebeat日志[tomcat@iZm5e0zxxbin]$tail-n20/var/log/filebeat/filebeat2017-03-01T14:52:25+08:00WARNproducer/broker/0statechangeto[closing]becausedialtcp:lookupiZm5e0zxxon10.2xx.xx.x1x:53:nosuchhost2:另外一台服务器可以看到有topic产生但是..
分类：
其他好文 时间：
2017-03-03 19:38:45
阅读次数：
2084
转载http://blog.csdn.net/odailidong/article/details/52571901 这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区 ...
分类：
其他好文 时间：
2017-03-02 23:44:39
阅读次数：
607
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说， ...
分类：
其他好文 时间：
2017-02-26 10:46:33
阅读次数：
206
使用rocketmq的大体消息发送过程如下： 在前面已经分析过MQ的broker接收生产者客户端发过来的消息的过程，此文主要讲述订阅者获取消息的过程，或者说broker是怎样将消息传递给消费者客户端的，即上面时序图中拉取消息(pull message)动作。。 1. 如何找到入口(MQ-broker... ...
分类：
其他好文 时间：
2017-02-23 00:01:40
阅读次数：
422
broker.id--服务器编号 host.name--推荐写本机ip advertised.host.name--外网访问ip advertised.port--外网访问端口 num.partitions--创建时的分区数目 zookeeper.connect--连接的zookeeper的ip:p ...
分类：
其他好文 时间：
2017-02-22 16:48:37
阅读次数：
269
关于消息服务的集群，大概分为Consumer集群（消费者集群）和Broker集群（消息服务器集群）两种。ActiveMQ提供了一种叫做失效转移（也叫故障转移，FailOver）的策略。失效转移提供了在传输层上重新连接到其他任何传输器的功能。使用它很简单，只需要在uri中配置就行了Failover:( ...
分类：
其他好文 时间：
2017-02-13 21:44:45
阅读次数：
163
1.从http://kafka.apache.org/下载kafka安装包；2.tar zxvf kafka_2.8.0.tar.gz,修改配置文件conf/server.properties：broker.id=0；host.name=10.100.5.9；zookeeper.connect=10 ...
分类：
其他好文 时间：
2017-02-09 16:10:56
阅读次数：
159
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，， 但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据； 因此，我 ...
分类：
其他好文 时间：
2017-01-22 07:59:18
阅读次数：
2058
