Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例...
分类：
其他好文 时间：
2015-01-22 11:08:23
阅读次数：
183
大家在启动flume的时候，输入的命令就可以看出flume的启动入口了
[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1
Info: Sourcing environment configuration script /home/flume/apache-flu...
分类：
移动开发 时间：
2015-01-21 18:22:15
阅读次数：
330
Kafka的Log存储解析
标签（空格分隔）： kafka
引言
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit...
分类：
其他好文 时间：
2015-01-21 18:16:35
阅读次数：
189
本文将以TimestampInterceptor为例来分析一下flume中拦截器的工作原理
首先来看下改拦截器的实现结构
1、实现了Interceptor接口
该接口的方法定义如下：
public void initialize(); public Event intercept(Event event); public List intercept(List events); ...
分类：
Web程序 时间：
2015-01-21 11:42:05
阅读次数：
171
首先从flume官网去下载源码
http://flume.apache.org/download.html
下载完之后，解压，首先去除源码中hdfs和hadoop的test依赖
apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml
org.apache.hbase...
分类：
Web程序 时间：
2015-01-20 18:05:28
阅读次数：
210
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-01-20 15:39:15
阅读次数：
285
实在受不了一堆错的教程了，这里贴一个好用的。修改rsyslogsudovim/etc/rsyslog.d/50-default.confcron.*/var/log/cron.log#将cron前面的注释符去掉重启rsyslogsudoservicersyslogrestart
分类：
系统相关 时间：
2015-01-17 23:38:17
阅读次数：
273
Kafka Producer相关代码分析
标签（空格分隔）： kafka
Kafka Producer将用户的消息发送到Kafka集群（准确讲是发送到Broker）。本文将分析Producer相关的代码实现。
类kafka.producer.Producer
如果你自己实现Kafka客户端来发送消息的话，你就是用到这个类提供的接口来发送消息。（如果你对如何利用Producer AP...
分类：
其他好文 时间：
2015-01-17 20:53:34
阅读次数：
233
ELK可以完成如下功能：l根据关键字查询日志详情l监控系统的运行状况l统计分析，比如接口的调用次数、执行时间、成功率等l异常数据自动触发消息通知l基于日志的数据挖掘ELK可以实现Splunk 基本功能Splunk是机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（物理...
分类：
其他好文 时间：
2015-01-17 15:07:25
阅读次数：
480
Kafka的通讯协议
标签:kafka
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。
基本数据类型
定长数据类型：int8,int16,int32和int64，对...
分类：
其他好文 时间：
2015-01-15 20:23:45
阅读次数：
260
