Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。1 安装环境操作系统:Ubuntu-12.04 JDK版本:jdk1.7.0_51 计算....
分类:
其他好文 时间:
2014-06-26 00:31:04
阅读次数:
302
本篇分析加载配置文件后各个组件是如何运行的?
加载完配置文件订阅者Application类会收到订阅信息执行:
@Subscribe
public synchronized void handleConfigurationEvent(MaterializedConfiguration conf) {
stopAllComponents();
startAll...
分类:
编程语言 时间:
2014-06-24 17:24:59
阅读次数:
445
本节分析配置文件的解析,即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getConfiguration()方法。此方法在AbstractConfigurationProvider类中实现了,并且这个类也初始化了三大组件的工厂类:this...
分类:
编程语言 时间:
2014-06-24 17:21:53
阅读次数:
547
从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类,这是flume的main函数所在。
main方法首先会先解析shell命令,如果指定的配置文件不存在就甩出异常。
根据命令中含有"no-reload-conf"参数,决定采用那种加载配置文件方式:一、没有此参数,会动态加载配置文件,默认每30秒...
分类:
编程语言 时间:
2014-06-24 17:13:22
阅读次数:
387
org.apache.flume.sink.AvroSink是用来通过网络来传输数据的,可以将event发送到RPC服务器(比如AvroSource),使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink extends AbstractSink implements Configurable这跟其他的sink一样都得extends Abstract...
分类:
编程语言 时间:
2014-06-24 16:01:30
阅读次数:
303
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时,该文件会被重命名以标志已经完成。同时,该源需要一个清理进程来定期移除完成...
分类:
编程语言 时间:
2014-06-24 15:59:37
阅读次数:
287
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的....
分类:
系统相关 时间:
2014-06-24 15:05:25
阅读次数:
304
前话
Flume OG 也就是 Flume original generation 由 Cloudera公司开发,最新版本是0.9.4。而Flume NG 就是 Flume next generation, 大概在2011年6月份由 Cloudera贡献给开源社区,目前属于Apache的一个incubator project。官网:http://flume.appache.org/...
分类:
移动开发 时间:
2014-06-22 10:33:01
阅读次数:
266
Hama学习笔记
1. Hama定义
Hama是基于HDFS上的BSP模型实现,其运行不需要MapReduce。例证如下: 在单点调试的Hama系统上,只运行NameNode、DataNode、BSPMasterRunner、GroomServerRunner和 ZooKeeperRunner进程,即可运行PageRank程序。
2. MapReduce与BSP区别
执行机制:MapR...
分类:
其他好文 时间:
2014-06-21 23:12:18
阅读次数:
268
从数据爆炸开始。。。
1.1 第三次工业革命
第一次:18世纪60年代,手工工厂向机器大生产过渡,以蒸汽机的发明和使用为标志。
第二次:19世纪70年代,各种新技术新发明不断被应用于工业生产,以电力的发明使用为标志。
第三次:20世界四五十年代末,以高新技术为代表的新科学技术革命,以原子能、航天技术和电子计算机
1.2 信息技术发展...
分类:
其他好文 时间:
2014-06-21 21:12:22
阅读次数:
399