本课分2部分讲解： 第一部分，讲解Kafka的概念、架构和用例场景； 第二部分，讲解Kafka的安装和实战。 由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。 一、Kafka的概念、架构和用例场景 ht ...
分类：
其他好文 时间：
2016-04-26 01:48:24
阅读次数：
243
Apache Kafka是一个分布式的消息发布-订阅系统。可以说，任何实时大数据处理工具缺少与Kafka整合都是不完整的。本文将介绍如何使用Spark Streaming从Kafka中接收数据，这里将会介绍两种方法：（1）、使用Receivers和Kafka高层次的API；（2）、使用Direct ...
分类：
其他好文 时间：
2016-04-25 14:36:24
阅读次数：
147
告警系统架构如下 1、 数据处理系统处理完原始数据并入库后，发送消息到kafka系统； 2、 告警生产者从kafka系统查询消息存入告警消息队列； 3、 告警消费者从告警消息队列查询消息进行处理。 这显然是生产者消费者模型，一个告警消息生产者，多个告警消息消费者。生产者生产消息过快会产生消息积压，生 ...
分类：
其他好文 时间：
2016-04-24 18:49:17
阅读次数：
139
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆 ...
分类：
其他好文 时间：
2016-04-24 09:45:43
阅读次数：
149
apache kafka总结本文将从多个方面对apache kafka进行总结.简介apache kafka是一个分布式消息队列.
这个消息队列在很多场景中被应用, 这一点在kafka apache项目的网站中就有介绍.
相对于其他消息队列而言(比如rabbitMQ等), 在大量数据传输方面性能较好.
当然也有它的不足, 暂时没有足够的中文文档是一方面, 另一方面, kafka在用户制定方面也...
分类：
Web程序 时间：
2016-04-24 06:26:50
阅读次数：
264
下载配置kafka参考该链接：http://www.cnblogs.com/super-d2/p/4534323.html pom.xml: producer配置文件： consumer配置： producer 测试代码： consumer测试代码： ...
分类：
编程语言 时间：
2016-04-23 16:43:47
阅读次数：
961
第一步.kafka 集群安装环境准备
环境:CentOS6.5
集群环境:
192.168.139.130 master
192.168.139.131 node1
192.168.139.132 node2
zookeeper 版本:zookeeper-3.3.6.tar.gz
kafka...
分类：
系统相关 时间：
2016-04-22 20:10:36
阅读次数：
472
Message Queue 消息传送系统提供传送服务。消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。
JMS（Java Messaging Service）是Java平台上有关面向消息中间件(MOM)的技术规范，它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发，翻译为Java消息服务。...
分类：
其他好文 时间：
2016-04-22 20:00:02
阅读次数：
247
kafka_2.9.2-0.8.1.tgzzookeeper-3.4.8.tar.gz 安装 zookeeper1 export PATH=$PATH:/usr/local/zookeeper/bin1 新增zookeeper service 启动服务cp /usr/local/zookeeper/ ...
分类：
其他好文 时间：
2016-04-22 18:36:00
阅读次数：
106
遇到这个问题三天了，在网上搜索了很多文章都说把时间调大，不过对于我来说没有什么用处。今天在解决另一个问题顺便解决了这个问题，给以后遇到此问题的同学做一个参考。 解决办法：1.关闭Linux防火墙 2.或者让2181端口通过防火墙。命令：iptables -I INPUT -p tcp --dport ...
分类：
其他好文 时间：
2016-04-21 15:11:52
阅读次数：
956
