一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景以下介绍消息队列在 ...
分类：
其他好文 时间：
2016-09-27 17:44:56
阅读次数：
156
怎么彻底删除kafka的topic，然后重建？ 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic，但是并没有成功，用kafka-topics.sh命令查看依然可以查看到topic，应该怎样才能彻底删除topic？ 2016 ...
分类：
其他好文 时间：
2016-09-26 17:43:35
阅读次数：
911
kafka是一个消息中间件，用于各个系统之间传递消息，并且消息可持久化！ 可以认为是队列模型，也可以看作是生产者消费着模型； 简单的生产者消费者客户端代码如下： package com.pt.util.kafka; import java.util.Date; import java.util.Pr ...
分类：
编程语言 时间：
2016-09-26 17:40:27
阅读次数：
162
在上一篇，我们从使用方式和策略上，对消息队列做了一个宏观描述。从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。 从Kafka 0.8.2开始，发布了一套新的Java版的client api, KafkaProducer/Ka ...
分类：
其他好文 时间：
2016-09-25 15:58:37
阅读次数：
144
在上一篇，我们从使用方式和策略上，对消息队列做了一个宏观描述。从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。从Kafka ...
分类：
Web程序 时间：
2016-09-25 09:35:54
阅读次数：
2103
Kafka副本管理—— 为何去掉replica.lag.max.messages参数 ...
分类：
其他好文 时间：
2016-09-24 17:34:21
阅读次数：
549
Kafka架构Kafka的整体架构非常简单，是显式分布式架构，producer、broker（kafka）和consumer都可以有多个。Producer，consumer实现Kafka注册的接口，数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于..
分类：
其他好文 时间：
2016-09-23 00:07:07
阅读次数：
268
在经过了近半个月的ELK环境的搭建配置，我做了我个人的工作总结，和大家分享一下。一、命令总结1.1、Es服务端口查看#netstat-nlpt|grep-E"9200|9300"1.2、Es插件安装和移除#./bin/plugininstallfile:///home/apps/license-2.3.3.zip#./bin/plugininstallfile:///home/apps/marv..
分类：
其他好文 时间：
2016-09-21 23:20:54
阅读次数：
368
在kafka 目录下执行生产消息命令： ./kafka-console-producer --broker-list nodexx:9092 --topic 201609 在spark bin 目录下执行 ...
分类：
其他好文 时间：
2016-09-21 15:55:27
阅读次数：
153
1、简介对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。ELK日志系统在系统中，主要可解决的问题：基于日志的数据挖掘问题排查，上线检查根据关键字查询日志详情异常数据自动触发消息通知服务器监控，应用监控，Bug管理统计分..
分类：
其他好文 时间：
2016-09-21 00:14:48
阅读次数：
277
