码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink 过程分析    ( 6791个结果
SSL连接建立过程分析(1)
Https协议:SSL建立过程分析web訪问的两种方式:http协议,我们普通情况下是通过它訪问web,由于它不要求太多的安全机制,使用起来也简单,非常多web网站也仅仅支持这样的方式下的訪问.https协议(Hypertext Transfer Protocol over Secure Socke...
分类:其他好文   时间:2014-06-28 10:44:53    阅读次数:289
分布式HBase-0.98.3环境搭建
Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。1 安装环境操作系统:Ubuntu-12.04 JDK版本:jdk1.7.0_51 计算....
分类:其他好文   时间:2014-06-26 00:31:04    阅读次数:302
第一个lucene程序,把一个信息写入到索引库中、根据关键词把对象从索引库中提取出来、lucene读写过程分析
新建一个Java Project :LunceneTest 准备lucene的jar包,要加入的jar包至少有: 1) lucene-core-3.1.0.jar     (核心包) 2) lucene-analyzers-3.1.0.jar    (分词器) 3) lucene-highlighter-3.1.0.jar    (高亮器) 4) lucene-memory-3.1.0...
分类:其他好文   时间:2014-06-24 22:30:13    阅读次数:328
【Java】【Flume】Flume-NG启动过程源码分析(三)
本篇分析加载配置文件后各个组件是如何运行的?   加载完配置文件订阅者Application类会收到订阅信息执行: @Subscribe public synchronized void handleConfigurationEvent(MaterializedConfiguration conf) { stopAllComponents(); startAll...
分类:编程语言   时间:2014-06-24 17:24:59    阅读次数:445
【Java】【Flume】Flume-NG源码阅读之AvroSink
org.apache.flume.sink.AvroSink是用来通过网络来传输数据的,可以将event发送到RPC服务器(比如AvroSource),使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink  extends AbstractSink implements Configurable这跟其他的sink一样都得extends Abstract...
分类:编程语言   时间:2014-06-24 16:01:30    阅读次数:303
shell 脚本实战笔记(4)--linux磁盘分区重新挂载
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt/diska时, HDFS会选择根分区, 当往HDFS里灌数据时, 导致的结果往往是根分区被快速的....
分类:系统相关   时间:2014-06-24 15:05:25    阅读次数:304
Floodlight下发流表过程分析
转载请注明出处: 当一个packet到达openflow交换机,会进行流表的匹配,如果没有找到相应的流表项,就会发送一个packet_in消息 到达SDN controller端,控制器根据一定的路由算法决策后,会向该路径上的所有交换机下发流表(也就是发送FLOW_MOD消息,里面有对应的action)。这里要知道的是在SDN的环境下,控制器具有全局拓扑信息,每当有链路状态改变时就会跟...
分类:其他好文   时间:2014-06-22 18:55:50    阅读次数:311
【Java】Appache Flume 中文介绍
前话 Flume OG 也就是 Flume original generation 由 Cloudera公司开发,最新版本是0.9.4。而Flume NG 就是 Flume next generation, 大概在2011年6月份由 Cloudera贡献给开源社区,目前属于Apache的一个incubator project。官网:http://flume.appache.org/...
分类:移动开发   时间:2014-06-22 10:33:01    阅读次数:266
Hama学习总结
Hama学习笔记 1. Hama定义 Hama是基于HDFS上的BSP模型实现,其运行不需要MapReduce。例证如下: 在单点调试的Hama系统上,只运行NameNode、DataNode、BSPMasterRunner、GroomServerRunner和 ZooKeeperRunner进程,即可运行PageRank程序。 2. MapReduce与BSP区别 执行机制:MapR...
分类:其他好文   时间:2014-06-21 23:12:18    阅读次数:268
Hadoop入门一:Hadoop简介
从数据爆炸开始。。。  1.1 第三次工业革命      第一次:18世纪60年代,手工工厂向机器大生产过渡,以蒸汽机的发明和使用为标志。      第二次:19世纪70年代,各种新技术新发明不断被应用于工业生产,以电力的发明使用为标志。      第三次:20世界四五十年代末,以高新技术为代表的新科学技术革命,以原子能、航天技术和电子计算机 1.2 信息技术发展...
分类:其他好文   时间:2014-06-21 21:12:22    阅读次数:399
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!