KAFKA分布式消息系统 2011-08-28 18:32:46分类： LINUXKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络...
分类：
其他好文 时间：
2015-08-14 11:08:43
阅读次数：
146
1.概述 本课程的视频教程地址：《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的，通过介绍 Kafka 的业务和应用场景，并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时，如下图所示： 接下来，我们开始第一课时的学习：《Kafka 回顾...
分类：
其他好文 时间：
2015-08-13 13:54:04
阅读次数：
209
转载自http://www.tuicool.com/articles/NzyqAn在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它...
分类：
其他好文 时间：
2015-08-12 18:18:39
阅读次数：
134
我们继续讨论console consumer的实现原理，本篇着重探讨ZookeeperConsumerConnector的使用，即后续所有的内容都由下面这条语句而起：val connector = Consumer.create(config)那么问题来了？这条语句后面执行了什么呢？我们先看crea...
分类：
其他好文 时间：
2015-08-11 22:58:11
阅读次数：
892
kafka分区及副本在broker的分配部分内容参考自：http://blog.csdn.net/lizhitao/article/details/41778193下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：
(1)
pic(2)当集群中新增2节点，Partition增加到6个时分布情...
分类：
其他好文 时间：
2015-08-11 18:56:59
阅读次数：
169
最近 有网友看我的“整合Kafka到Spark Streaming——代码示例和挑战”文章，
讲 kafka对象 放到 pool 并通过broadcast广播出去：
然后 在开发测试阶段 报错如下：
然后就找我，说“代码都跟你的差不多呀，为什么就报这个错呢？”
其实 对于广播操作，spark 肯定要序列号的，还有尽量不要把大对象广播出去，
后来 把代码要过来看了下，发现 creat...
分类：
编程语言 时间：
2015-08-11 16:14:24
阅读次数：
173
apache-flume1.6 sink默认支持kafka [FLUME-2242] - Flume Sink and Source for Apache Kafka 官方给的例子很贴心，可以直接运行=，=，详细配置之后慢慢看。 a1.channels = channel1 a1.sources = src-1 a1.sinks...
分类：
Web程序 时间：
2015-08-10 18:18:21
阅读次数：
831
笔者博文：妳那伊抹微笑博客地址：http://blog.csdn.net/u012185296个性签名：世界上最遥远的距离不是天涯，也不是海角，而是我站在妳的面前。妳却感觉不到我的存在技术方向：Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar...
分类：
编程语言 时间：
2015-08-09 09:26:51
阅读次数：
161
1.发送消息吞吐量的测试：1）单台producer单个进程的发送消息tps2）单台producer多个进程的发送消息tps3）单台broker的接收消息tps，由于单台producer可能压不满，所以需要可能两台producer来发消息2.消费消息吞吐量的测试：1）单台consumer消费消息的tp...
分类：
其他好文 时间：
2015-08-07 10:49:12
阅读次数：
166
事件驱动架构基础元素：1. 事件生产者（Event Producer）2. 事件监听者（Event Listener）3. 事件（Event）：状态（State）变换产生事件。4. 事件处理器（Event Processor）5.事件反应器（Event Reaction）6. 消息传递骨干(Mess...
分类：
其他好文 时间：
2015-08-06 21:54:37
阅读次数：
128
