最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下:1. 修改log4j.properties, 这个大家都应该会改, ...
分类：
其他好文 时间：
2014-09-04 23:31:00
阅读次数：
607
http://kafka.apache.org/08/configuration.html Broker Configs 4个必填参数， broker.id Each broker is uniquely identified by a non-negative integer id broker唯...
分类：
其他好文 时间：
2014-09-04 18:33:49
阅读次数：
174
一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
0.8的官方文档提供了一个删除topic的命令：kafka-topics.sh--delete但是在运行时会报错找不到这个方法。kafka-topics.sh最终是运行了kafka.admin.TopicCommand这个类，在0.8的源码中这个类中没有找到有deletetopic相关的代码。在kafka的admin包下，提供了一个DeleteTopicComman..
分类：
其他好文 时间：
2014-09-03 02:42:26
阅读次数：
1415
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:13:21
阅读次数：
295
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:11:31
阅读次数：
353
================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输..
分类：
其他好文 时间：
2014-08-30 19:11:30
阅读次数：
368
安装Kafka集群
假设我们有集群中，需要配置4个broker，形成下面图表的Kafka集群。
2.1 配置文件
配置所有的Kafka的Producer文件，其中，brokerpid的值是独一无二的数字值。几个核心属性如下：
# The id of the broker.This must be set to a unique integer for each broke...
分类：
其他好文 时间：
2014-08-29 11:05:47
阅读次数：
293
编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
