震惊了！原来这才是kafka！ 简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息 ...
分类：
其他好文 时间：
2019-03-10 19:15:06
阅读次数：
154
Java分布式：消息队列（Message Queue） 引入消息队列 消息，是服务间通信的一种数据单位，消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。队列，是一种常见的数据结构，它是保存消息的容器。那么消息队列就是以消息为基本单位的优先队列。 借助消息队列，系统的不同部分可 ...
分类：
编程语言 时间：
2019-03-04 22:30:02
阅读次数：
625
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Sc ...
分类：
其他好文 时间：
2019-03-02 18:36:34
阅读次数：
191
[z]https://juejin.im/post/5c0e47ebf265da614e2be9a7 一、写在前面 最近收到不少读者反馈，说自己在应聘一些中大型互联网公司的Java工程师岗位时遇到了不少困惑。 这些同学说自己其实也做了精心准备，网上搜集了不少Java面试题，然而实际去互联网公司面试才 ...
分类：
其他好文 时间：
2019-02-19 13:30:56
阅读次数：
207
搞懂分布式技术21：浅谈分布式消息技术 Kafka 浅谈分布式消息技术 Kafka 本文主要介绍了这几部分内容： 1基本介绍和架构概览 2kafka事务传输的特点 3kafka的消息存储格式：topic和parition 4副本（replication）策略：主从broker部署和partition ...
分类：
其他好文 时间：
2019-02-08 21:34:27
阅读次数：
194
celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。关于celery的更多介绍及例子，笔者可以参考文章 "Python之celery的简介与使用" 。 本文将介绍如何使用celery来加速爬虫。 &em ...
分类：
编程语言 时间：
2019-02-02 17:05:45
阅读次数：
176
1. Kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、s ...
分类：
其他好文 时间：
2019-01-27 10:44:42
阅读次数：
253
内容目录 1. RocketMQ是什么？ 2. 下载并解压 3. 启动NameServer 4. 启动 Broker 5. 关闭消息队列 1. RocketMQ是什么？ RocketMQ是一种消息队列。何为消息队列？即数据结构中一种“先进先出”的数据结构。在微服务中，分布式消息队列可以解决什么问题？ ...
分类：
其他好文 时间：
2019-01-21 00:32:03
阅读次数：
331
分布式理论 一、分布式基本概述 分布式系统是一个内涵极度丰富的领域，单就应用层次而言就设计分布式缓存，分布式存储，分布式文件系统，分布式锁，分布式事务，分布式调度任务，分布式调度计算，分布式消息，分布式采集等。 二、CAP理论 在一个分布式系统(指 互相连接 并 共享数据 的节点的集合)中，当涉及 ...
分类：
其他好文 时间：
2019-01-04 16:10:57
阅读次数：
258
1.Kafka的经典架构 Kafka是LinkedIn用于日志处理的分布式消息队列，同时支持离线和在线日志处理。 Kafka对消息保存时根据Topic进行归类。 发送消息者就是Producer，消息的发布描述为Producer 消息接受者就是Consumer，消息的订阅描述为Consumer 每个Kafka实例称为Broker，将中间的存储阵列称作
分类：
其他好文 时间：
2018-12-30 22:03:15
阅读次数：
208
