# Kafka 高级部分之自定义Encoder实现Class级别的数据传送已经解析
# 前言
本博文中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
本博文《_00023 Kafka 诡异操作_001自定义Encoder实现Class级别的数据传送以及解析》中的Eclipse工程代码下载地址 http://download.csdn.net/detail/u012185296/7633405
# Class级别信息Send的原理
简单的说就是将一个...
分类：
其他好文 时间：
2014-07-18 12:31:58
阅读次数：
527
读操作需要两个参数：一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大，但在一些个别消息比较大的情况下，S会小于单个消息的大小。这种情况下读操作会不断重试，每次重试都会讲读取量加倍，直到读取到一个完整的消息。可以配置单个消息的最大值，这样服务器就会拒绝大小超过这个值的消息。也可以给客户端指定一个尝试读取的最大上限，避免为了读到一个完整的消息而无限次的重试。...
分类：
其他好文 时间：
2014-07-17 20:11:04
阅读次数：
288
Flume的内置监控怎么整？这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具，以及从浏览器获取json串，或者自定义向其他监控系统汇报信息。那监控的信息是什么呢？就是各个组件的统计信息，比如成功接收的Event数量、成功发送的Even.....
分类：
其他好文 时间：
2014-07-16 17:54:32
阅读次数：
253
kafka客户端开发,如果进行多线程并行消费数据。...
分类：
编程语言 时间：
2014-07-16 17:26:29
阅读次数：
329
https://cwiki.apache.org/confluence/display/KAFKA
Pages
Index
Skip
to end of metadata
Attachments:1
Added by Alan D. Cabrera, last edited by Neha
Narkhede ...
分类：
其他好文 时间：
2014-07-15 22:25:29
阅读次数：
344
1.flume的基本概念
本文中所有与flume相关术语都采用斜体英文表示，这些术语的含义如下所示。
flume 一个可靠的，分布式的，用于采集，聚合，传输海量日志数据的系统。
Web Server 一个产生 Events 的系统。
Agent flume 系统中的一个节点，它主要包含三个部件：Source, Channel...
分类：
其他好文 时间：
2014-07-15 12:59:26
阅读次数：
402
# 学习前言
框架整合中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
# Flume的学习请参考_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)这篇博文
# Kafka的学习请参考_00017 Kafka的体系结构介绍以及Kafka入门案例(初级案例+Java API的使用)这篇博文
# Storm的学习请参考_00019 Storm的体系结构介绍以及Storm入门案例(官网上的简单Java案例)这篇博文
请学习...
分类：
其他好文 时间：
2014-07-14 18:32:41
阅读次数：
574
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
Consumer API有两个级别。低级别的和一个指定的broker保持连接，并在接收完消息后关闭连接，这个级别是无状态的，每次读取消息都带着offset。
高级别的API隐藏了和brokers连接的细节，在不必关心服务端架构的情况下和服务端通信。还可以自己维护消费状态，并可以通过一些条件指定订阅特定的topic,比如白名单黑名单或者正则表达式。...
一、整体看一下Kafka
我们知道，Kafka系统有三大组件：Producer、Consumer、broker 。
producers 生产消息并推(push)送给brokers，consumers从brokers把消息提取(pull)出来。
二、开发一个Producer应用
Producers用来生产消息并把产生的消息推送到Kafka...
分类：
其他好文 时间：
2014-07-10 23:07:37
阅读次数：
263
