最近在看flume部分功能的源码，关于FileLock的使用，其实在很多开源框架都有涉及，我所看过的有lucene，zookeeper，hadoop，es等开源框架都有用到，下面简单的介绍下FileLock。
1，FileLock是独占锁，控制不同程序（JVM）对同一文件的并发访问。 2，可以对写文件(w)加锁，而且必须是可写文件，不然回报：java.nio.channels.NonWritableChannelException异常，这样可以保证只有同一个进程才能拿到锁对文...
分类：
其他好文 时间：
2015-08-17 23:46:30
阅读次数：
275
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-08-17 21:35:09
阅读次数：
240
转载自http://blog.chinaunix.net/uid-20196318-id-2420884.htmlKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运...
分类：
其他好文 时间：
2015-08-17 11:44:06
阅读次数：
105
转自：http://blog.csdn.net/honglei915/article/details/37564521原文地址：http://blog.csdn.net/honglei915/article/details/37564521介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它...
分类：
其他好文 时间：
2015-08-16 18:16:02
阅读次数：
110
1.kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据
Step 1: Download the code
Download the
0.8.2.0 release and un-tar it.
> tar -xzf kafka_2.10-0.8.2.0.tgz
> cd kafka_2.10-0.8.2.0
Ste...
分类：
其他好文 时间：
2015-08-16 12:23:45
阅读次数：
179
http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Stor...
分类：
Web程序 时间：
2015-08-14 11:27:12
阅读次数：
220
KAFKA分布式消息系统 2011-08-28 18:32:46分类： LINUXKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络...
分类：
其他好文 时间：
2015-08-14 11:08:43
阅读次数：
146
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。 Hadoop带来了廉价的处理大数据（大数据的数据...
分类：
其他好文 时间：
2015-08-13 14:38:41
阅读次数：
244
1.概述 本课程的视频教程地址：《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的，通过介绍 Kafka 的业务和应用场景，并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时，如下图所示： 接下来，我们开始第一课时的学习：《Kafka 回顾...
分类：
其他好文 时间：
2015-08-13 13:54:04
阅读次数：
209
转载自http://www.tuicool.com/articles/NzyqAn在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它...
分类：
其他好文 时间：
2015-08-12 18:18:39
阅读次数：
134
