码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink 过程分析    ( 6791个结果
Sqoop的使用
Sqoop官网:http://sqoop.apache.org/*) Sqoop介绍Sqoop用来在Hadoop和关系数据库中传递数据。通过sqoop,我们可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出到关系数据库。参考链接:http://blog.csdn.net/yfkis...
分类:其他好文   时间:2014-06-26 17:49:46    阅读次数:212
移植u-boot-2014.4到S5PV210/TQ210(完整)
本文更多的是教会大家如何学习 1.1   概述 1.2   u-boot配置过程分析 1.3   u-boot编译过程分析 1.4   SPL 1.5   添加自己的单板 1.6   移植u-boot-spl.bin 1.7   u-boot.bin内存布局分析 1.8   u-boot重定位 1.9   u-boot启动流程总结 1.10  支持命令补全和历史命令 1.11...
分类:其他好文   时间:2014-06-26 13:29:43    阅读次数:205
ICMP拒绝服务攻击(原始套接字系列四)
拒绝服务攻击(DoS)企图通过使被攻击的计算机资源消耗殆尽从而不能再提供服务,拒绝服务攻击是最容易实施的攻击行为。中美黑客大战中的中国黑客一般对美进行的就是拒绝服务攻击,其技术手段大多不够高明。 ICMP实现拒绝服务攻击的途径有二:一者"单刀直入",一者"借刀杀人"。具体过程分析如下: ICM...
分类:其他好文   时间:2014-06-26 11:11:29    阅读次数:224
_00017 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
# 学习前言 想学习一下Flume,网上找了好多文章基本上都说的很简单,只有一半什么的,简直就是坑爹,饿顿时怒火就上来了,学个东西真不容易,然后自己耐心的把这些零零碎碎的东西整理整理,各种搭环境实验之后才弄好的,也不容易啊,希望可以帮到想学Flume的你 、、、 # Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制...
分类:其他好文   时间:2014-06-26 08:01:52    阅读次数:449
SSL连接建立过程分析(1)
Https协议:SSL建立过程分析web訪问的两种方式:http协议,我们普通情况下是通过它訪问web,由于它不要求太多的安全机制,使用起来也简单,非常多web网站也仅仅支持这样的方式下的訪问.https协议(Hypertext Transfer Protocol over Secure Socke...
分类:其他好文   时间:2014-06-25 17:03:45    阅读次数:177
初识 Cloudera Impala
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类:其他好文   时间:2014-06-25 10:56:38    阅读次数:355
fuse-dfs挂载hdfs实录
部署安装了最新稳定版hadoop2.2.0,然后在网上找来fuse-dfs编译教程,但是最后失败了,至今原因未知~~,错误描述为:Transport endpoint is not connected。后将安装部署hadoop1.2.1版本,最后测试成功,记录如下: 使用root完成一下操作: 1、安装依赖包 apt-get install autoconf automake libtool...
分类:其他好文   时间:2014-06-25 08:17:08    阅读次数:302
【Java】【Flume】Flume-NG启动过程源码分析(二)
本节分析配置文件的解析,即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getConfiguration()方法。此方法在AbstractConfigurationProvider类中实现了,并且这个类也初始化了三大组件的工厂类:this...
分类:编程语言   时间:2014-06-24 17:21:53    阅读次数:547
【Java】【Flume】Flume-NG启动过程源码分析(一)
从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类,这是flume的main函数所在。   main方法首先会先解析shell命令,如果指定的配置文件不存在就甩出异常。   根据命令中含有"no-reload-conf"参数,决定采用那种加载配置文件方式:一、没有此参数,会动态加载配置文件,默认每30秒...
分类:编程语言   时间:2014-06-24 17:13:22    阅读次数:387
【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时,该文件会被重命名以标志已经完成。同时,该源需要一个清理进程来定期移除完成...
分类:编程语言   时间:2014-06-24 15:59:37    阅读次数:287
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!