转自：http://blog.csdn.net/bailove/article/details/44240303 业务场景 来疯直播互动平台，每天有数百万人上下线，有数十万人同时参与互动直播聊天。用户的登陆、退出及用户间的各种交互行为如聊天、送礼、关注、投票、抢沙发等等事件都会产生大量的消息。这些消
分类：
其他好文 时间：
2016-03-09 19:01:47
阅读次数：
199
场景：在笔记本安装了一台虚拟机， 在本地的虚拟机上部署了一个kafka服务： 写了一个测试程序，在笔记本上运行测试程序，访问虚拟机上的kafka，报如下异常： 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO]
分类：
其他好文 时间：
2016-03-09 17:43:48
阅读次数：
329
转载请注明地址http://www.cnblogs.com/dongxiao-yang/p/5217754.html Starting in 0.9, the Kafka cluster has the ability to enforce quotas on produce and fetch r
分类：
其他好文 时间：
2016-03-08 19:38:52
阅读次数：
1160
1.概述 在 Kafka 中，官方对外提供了两种消费 API，一种是高等级消费 API，另一种是低等级的消费 API。在 《高级消费 API》一文中，介绍了其高级消费的 API 实现。今天给大家介绍另一种消费 API。 2.内容 在使用过 Kafka 的高级消费 API 后，我们知道它是一种高度抽象
分类：
其他好文 时间：
2016-03-04 10:33:02
阅读次数：
188
a. Producer到broker 把request.required.acks设为1，丢会重发，丢的概率很小 b. Broker b.1 对于broker，落盘的数据，除非磁盘坏了，不会丢的 b.2 对于内存中没有flush的数据，broker重启会丢 可以通过log.flush.interva
分类：
其他好文 时间：
2016-03-02 22:00:55
阅读次数：
215
// scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import o...
分类：
其他好文 时间：
2016-03-02 20:09:26
阅读次数：
181
一些重要的原理基本原理什么叫brokerpartitioncg我就不在这里说了，说一些自己总结的原理1.kafka有副本的概念，每个副本都分在不同的partition中，这中间分为leader和fllower2.kafka消费端的程序一定要和partition数量一致，不可以多，会出现有些consumer获取不到数据的现象3.p..
分类：
其他好文 时间：
2016-03-01 14:48:58
阅读次数：
286
Storm 大数据 视频教程 安装 Spark Kafka Hadoop 分布式实时计算 Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP
分类：
其他好文 时间：
2016-02-28 18:24:53
阅读次数：
419
慢慢弄起来。。。 前年搞过，现在生疏了，再慢慢拾起来吧。 一些URL： https://www.elastic.co/downloads/logstash https://www.elastic.co/products/kibana http://kafka.apache.org/ https://
分类：
其他好文 时间：
2016-02-26 23:24:03
阅读次数：
318
scribe、chukwa、kafka、flume日志系统对比 1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理 这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）
分类：
Web程序 时间：
2016-02-26 18:56:17
阅读次数：
238
