简介 首先简单说下对kafka的理解： 1、kafka是一个分布式的消息缓存系统； 2、kafka集群中的服务器节点都被称作broker 3、kafka的客户端分为：一是producer（消息生产者）负责往消息队列中放入消息；另一类是consumer（消息消费者）负责从消息队列中取消息。客户端和服务 ...
分类：
其他好文 时间：
2017-04-15 00:17:08
阅读次数：
288
下载地址：http://kafka.apache.org/downloads.html 先启动zookeeper服务器 bin/zookeeper-server-start.sh config/zookeeper.properties & 再启动kafka服务器 bin/kafka-server-s ...
分类：
其他好文 时间：
2017-03-08 00:44:53
阅读次数：
331
一年前，当我第一次开发完EQueue后，写过一篇文章介绍了其整体架构，做这个框架的背景，以及架构中的所有基本概念。通过那篇文章，大家可以对EQueue有一个基本的了解。经过了1年多的完善，EQueue无论是功能上还是成熟性上都完善了不少。所以，希望再写一篇文章，介绍一下EQueue的整体架构和关键特 ...
前言 最近花了我几个月的业余时间，对EQueue做了一个重大的改造，消息持久化采用本地写文件的方式。到现在为止，总算完成了，所以第一时间写文章分享给大家这段时间我所积累的一些成果。 EQueue开源地址：https://github.com/tangxuehua/equeue EQueue相关文档： ...
kafka是linkedin用于日志处理的分布式消息队列， 同时支持离线和在线日志处理。 kafka对消息保存时根据Topic进行归类， 发送消息者成为 Producer,消息接受者成为 Consumer,此外 kafka 集群有多个kafka实例组成， 每个实例(server)称为broker。 ...
分类：
其他好文 时间：
2017-01-14 21:01:10
阅读次数：
237
简单介绍:说明:Beantalkd是一个高性能,轻量级的分布式消息队列,最初设计目的是想通过后台异步执行耗时任务降低WEB应用页面访问延迟,支持过1000万用户的应用,被豆瓣内部广泛使用.几大特性:1.支持持久化,默认使用内存,但可启动时-b指定持久化目录,将任务写入Binlog,以相同参数启..
分类：
其他好文 时间：
2016-12-02 03:42:21
阅读次数：
219
Kafka是用于日志处理的分布式消息队列，Kafka使用scala语言开发的。 各个开源分布式处理系统Cloudera、Apache Storm、Spark都支持与Kafka集成。其日志处理的一个场景:Kafka采集日志以后，经过spark分布式计算，将日志数据导入到HBase中。Kafka采集的日 ...
分类：
其他好文 时间：
2016-11-29 21:35:02
阅读次数：
188
文章地址 1. 一些词汇和技术 1）Zookeeper注册中心 Storm集群 2. 核心思想 1）【概述】 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的 ...
分类：
Web程序 时间：
2016-11-18 22:46:45
阅读次数：
277
原文地址 以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二）） 常用消息队列（见第二篇：大型网站架构系列：分布式消息队 ...
分类：
其他好文 时间：
2016-11-18 22:15:50
阅读次数：
318
在上一篇，我们从使用方式和策略上，对消息队列做了一个宏观描述。从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。 从Kafka 0.8.2开始，发布了一套新的Java版的client api, KafkaProducer/Ka ...
分类：
其他好文 时间：
2016-09-25 15:58:37
阅读次数：
144
