对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https://cwiki.apache.org/confluence...
分类：
其他好文 时间：
2014-06-28 22:39:15
阅读次数：
1224
参考， https://cwiki.apache.org/confluence/display/KAFKA/System+Tools https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools http://kafka.ap...
分类：
其他好文 时间：
2014-06-28 22:01:55
阅读次数：
637
1.Zookeeper是什么？
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。ZooKeeper的设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构。他的数据都存在内存中，所以速度非常快，当然为了避免内存数据的丢失，所以数据也可以同时保存在硬盘上。
2.Zookeeper能做什么？
场景一：有一组服务器向客户端提供某种服务（例如：我前面做的分布式网...
分类：
其他好文 时间：
2014-06-22 16:55:46
阅读次数：
216
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些...
分类：
其他好文 时间：
2014-06-21 08:57:48
阅读次数：
430
Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适...
分类：
其他好文 时间：
2014-06-21 06:22:00
阅读次数：
273
Apache已经发布了Kafka 0.8，也是自从成为Apache软件基金会的顶级项目后Kafka的 第一个主版本。 Apache Kafka是发布—订阅消息传递，实现了分布式提交日志，适用于离线和在线消息消费。它最初由LinkedIn开发的消息系统，用于低延迟的收集和发送大 量的事件和日志数据。最...
分类：
其他好文 时间：
2014-06-21 06:21:23
阅读次数：
253
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。概念:kafka依赖的项：1.硬件上，kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩，5.kafka对事务处理比...
分类：
其他好文 时间：
2014-06-20 18:18:45
阅读次数：
329
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2014-06-20 16:18:14
阅读次数：
294
学习Storm视频教程需要具有：Java基础、Linux基础；学习Storm视频教程可以提升的技能(Storm除外)：Zookeeper、Java、Linux
用到技术：Storm集群、Zookeeper集群等
涉及项目：网站PV、UV案例实战、其他案例
Storm视频教程 Storm入门教程-Storm流计算从入门到精通-技术篇，Storm视频教程全面、系统、深入讲解Storm，采用最新的稳定版本Storm 0.9.0.1 ；注重实践，对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批...
分类：
其他好文 时间：
2014-06-18 12:38:14
阅读次数：
412
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云...
分类：
其他好文 时间：
2014-06-17 16:44:25
阅读次数：
310
