broker的配置文件位于kafka的config/server.properties文件。Broker基本配置broker.id：代理Id，必须是唯一的整数。可以是0，1，2，3这样的自定义编号，也可以是IP地址的最后一位，如23，24，25，建议使用后面的编码方式。auto.leader.rebalance.enable：是否允许leader节点自..
分类：
其他好文 时间：
2016-04-17 18:03:56
阅读次数：
649
部署Flume在Window环境中，Kafka部署在Linux上，从Flume发送事件到Kafka始终有一下错误，经过长时间在网上搜索终于把问题解决，修改kafka中配置项，#advertised.host.name=<hostnameroutablebyclients>注释去掉，并配置上kafka所在linux的ip地址advertised.host.name=192..
分类：
其他好文 时间：
2016-04-16 19:37:08
阅读次数：
2479
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。
在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）...
分类：
其他好文 时间：
2016-04-16 19:20:26
阅读次数：
488
消息队列
消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供公共的信息交换机制是重要的。常...
分类：
其他好文 时间：
2016-04-16 19:04:26
阅读次数：
250
Kafka - SQL 引擎分享 1.概述 大多数情况下，我们使用 Kafka 只是作为消息处理。在有些情况下，我们需要多次读取 Kafka 集群中的数据。当然，我们可以通过调用 Kafka 的 API 来完成，但是针对不同的业务需求，我们需要去编写不同的接口，在经过编译，打包，发布等一系列流程。最 ...
分类：
数据库 时间：
2016-04-16 00:42:27
阅读次数：
286
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置，并没有把一整套流程包括收集端的代码，全部自己搞定一次，而且线上收集日志的时候我们一般都用的logstash，但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好，logstash的优点..
分类：
其他好文 时间：
2016-04-14 18:11:11
阅读次数：
1629
原文：http://kafka.apache.org/documentation.html############################# System ############################# #唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，... ...
分类：
其他好文 时间：
2016-04-14 15:56:16
阅读次数：
205
最初的错误：DynamicBrokersReader[ERROR]Node/brokers/ids/0doesnotexist设置：BrokerHostsbrokerHosts=newZkHosts(zks,"/kafka/brokers");然后就是如下错误：2016-04-13T15:07:10.657+0800b.s.util[ERROR]Asyncloopdied!
java.lang.RuntimeException:java.lang.RuntimeExcept..
分类：
其他好文 时间：
2016-04-13 21:05:07
阅读次数：
1186
Producer.javapackagecom.favccxx.isoft.favkafka;
importjava.util.Properties;
importorg.apache.kafka.clients.producer.KafkaProducer;
importorg.apache.kafka.clients.producer.Producer;
importorg.apache.kafka.clients.producer.ProducerRecord;
importorg.slf4j.Logg..
分类：
其他好文 时间：
2016-04-13 20:55:13
阅读次数：
156
此文是rocketmq作者vintage.wang所写，对于每项对比，后面都增加了我的观点，有不对的地方，请各位指出。 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Li ...
分类：
其他好文 时间：
2016-04-13 14:41:38
阅读次数：
630
