1. 基本介绍 Kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态 kafka的集群由多个Broker服务器组成,每个类型 ...
                            
                            
                                分类:
其他好文   时间:
2017-07-28 22:11:41   
                                阅读次数:
191
                             
                    
                        
                            
                            
                                一、kafka、zookeeper分布式集群简介一句话概括kafka:kafka是一个具备很强容错能力和实时处理能力的分布式流数据平台。Kafka的应用场景:kafka可在以下场景中应用:基于流数据的发布订阅消息系统、基于流数据的高效异步通信中间件、基于流数据的高可用分布式存储;可以替代传..
                            
                            
                                分类:
其他好文   时间:
2017-07-25 19:37:10   
                                阅读次数:
249
                             
                    
                        
                            
                            
                                    《鸟哥的私房菜》(基础版/服务器版) 《构建之法——现代软件工程》 《RabbitMQ实战高效部署分布式消息队列》 《程序员必读软件架构》 《OpenStack开源云 王者归来》 《ELKstack权威指南》 《Nginx高性能Web服务器详解》 《Docker容器与容器云》 《Zabbix企业级分 ...
                            
                            
                                分类:
其他好文   时间:
2017-07-18 15:34:30   
                                阅读次数:
184
                             
                    
                        
                            
                            
                                RabbitMQ消息队列服务器在Windows下的安装和部署-> 一、Erlang语言环境的搭建 RabbitMQ开源消息队列服务是使用Erlang语言开发的,因此我们要使用他就必须先进行Erlang语言环境的搭建,其实是非常简单的。 登录Erlang官网,进入下载页,官网地址->http://ww ...
                            
                            
                         
                    
                        
                            
                            
                                    一、Rocketmq简介: RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:1、支持严格的消息顺序;2、支持Topic与Queue两种模式;3、亿级消息堆积能力;4、比较友好的分布式特性;5、同时支持Push与Pull方式消费消息; (本文采用双Master架构模式。) 二、服务器 ...
                            
                            
                                分类:
其他好文   时间:
2017-06-07 18:48:14   
                                阅读次数:
268
                             
                    
                        
                            
                            
                                Kafka介绍 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统,用Scala写成。 2、Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性, ...
                            
                            
                                分类:
其他好文   时间:
2017-05-26 00:42:44   
                                阅读次数:
197
                             
                    
                        
                            
                            
                                    以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。 本次分享大纲 一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 ...
                            
                            
                                分类:
Web程序   时间:
2017-05-23 10:17:03   
                                阅读次数:
156
                             
                    
                        
                            
                            
                                    ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务,它提供了一项基本服务:分布式锁服务。由于ZooKeeper的开源特性,后来我们的开发者在分布式锁的基础上,摸索了出了其他的使用方法:配置维护、组服务、分布式消息队列、分布式通知/协调等。 注意:ZooKeeper性能上的 ...
                            
                            
                                分类:
其他好文   时间:
2017-05-07 18:35:05   
                                阅读次数:
136
                             
                    
                        
                            
                            
                                    By:Linxu http://www.walker0909.com/ 《鸟哥的私房菜》(基础版/服务器版) 《构建之法——现代软件工程》 《RabbitMQ实战高效部署分布式消息队列》 《程序员必读软件架构》 《OpenStack开源云 王者归来》 《ELKstack权威指南》 《Nginx高性能 ...
                            
                            
                                分类:
其他好文   时间:
2017-04-22 17:31:54   
                                阅读次数:
305
                             
                    
                        
                            
                            
                                    通过之前《kafka分布式消息队列介绍以及集群安装》的介绍,对kafka有了初步的了解。本文主要讲述java代码中常用的操作。 准备:增加kafka依赖 一、kafka中对topic的操作 二、Producer代码 三、consumer代码 四、测试 先启动Consumer,再启动Producer  ...
                            
                            
                                分类:
编程语言   时间:
2017-04-16 21:19:23   
                                阅读次数:
1516