对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https://cwiki.apache.org/confluence...
分类：
其他好文 时间：
2014-06-28 22:39:15
阅读次数：
1224
参考， https://cwiki.apache.org/confluence/display/KAFKA/System+Tools https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools http://kafka.ap...
分类：
其他好文 时间：
2014-06-28 22:01:55
阅读次数：
637
1. 首先安装idea的jrebel插件， jrebel是收费的，所以要在网上下载验证码。2. 安装好以后再setting 菜单能看到一个jrebel的菜单。3.4.其中需要选中frame失去焦点的时候，Update classes and resource这样每次修改了源码以后，就不用重启服务，可...
分类：
编程语言 时间：
2014-06-21 11:36:48
阅读次数：
274
FileCleanTracker: 开启一个守护线程在后台默默的删除文件。 1 /* 2 * Licensed to the Apache Software Foundation (ASF) under one or more 3 * contributor license agreeme...
分类：
其他好文 时间：
2014-06-21 09:34:59
阅读次数：
324
Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适...
分类：
其他好文 时间：
2014-06-21 06:22:00
阅读次数：
273
Apache已经发布了Kafka 0.8，也是自从成为Apache软件基金会的顶级项目后Kafka的 第一个主版本。 Apache Kafka是发布—订阅消息传递，实现了分布式提交日志，适用于离线和在线消息消费。它最初由LinkedIn开发的消息系统，用于低延迟的收集和发送大 量的事件和日志数据。最...
分类：
其他好文 时间：
2014-06-21 06:21:23
阅读次数：
253
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。概念:kafka依赖的项：1.硬件上，kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩，5.kafka对事务处理比...
分类：
其他好文 时间：
2014-06-20 18:18:45
阅读次数：
329
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2014-06-20 16:18:14
阅读次数：
294
tomcat
edit configurations配置问题：
在deployment选项卡内加入artifact到服务器，在Application context选择应用的上下文路径。
热部署：
在tomcat配置 Server选项卡内 On Update action 选择Update classes and resource
...
分类：
其他好文 时间：
2014-06-18 07:03:44
阅读次数：
231
1. Install Java and set JAVA_HOME2. Install IntelliJ IDH and Scala plugin3. Download spark1.0.04. Generate a workspace for IDEA[shaochen@linux spark-1...
分类：
其他好文 时间：
2014-06-17 19:55:22
阅读次数：
262
