码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink 过程分析    ( 6791个结果
hadoop-2.2.0编译
由于从官网下载的hadoop中依赖包native hadoop library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:其他好文   时间:2014-06-06 23:38:29    阅读次数:494
HDFS主要节点讲解(一)节点功能
简单明了的介绍下HDFS几个节点...
分类:其他好文   时间:2014-06-05 05:29:45    阅读次数:185
Hadoop常见配置
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类:其他好文   时间:2014-06-04 14:40:40    阅读次数:254
ARMv8 Linux内核异常处理过程分析
看了Linaro提供的开源ARMv8 Linux内核源码,发现ARMv8异常处理与ARMv7及之前的架构有所不同,详细分析之。...
分类:系统相关   时间:2014-06-02 23:08:43    阅读次数:721
ARM多核处理器启动过程分析
你想知道多核处理器是否如何启动的?一张图就够了...
分类:其他好文   时间:2014-06-02 23:06:14    阅读次数:475
DMA过程分析
当我们在应用程序中编写write系统调用,向磁盘中写入数据时,写入请求会先调用底层写函数,将请求先写入内存中的页高速缓存(page cache)中,写入成功则立刻返回,真正的写入磁盘操作会延迟执行。Page cache是硬盘在内存中的一个缓存,是linux内核所使用的主要磁盘高速缓存,在绝大多数情况下,内核在读写磁盘时都引用page cache(极少数应用会绕过页高速缓存,如数据库软件)。...
分类:其他好文   时间:2014-06-02 22:38:57    阅读次数:311
让你系统认识flume及安装和使用flume1.5传输数据到hadoop2.2
问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一、认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flume是干什么的?收集日志的3.flume如何搜集日志?我们把flume比作情报人员(1)搜集信息(2...
分类:其他好文   时间:2014-06-02 15:38:43    阅读次数:477
Hive创建外部表以及分区
创建外部表的好处是数据可以随时从hdfs中挂载进表中使用分区的好处是可以缩短查询范围下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, col_b string, col_c string, col_d string, col_...
分类:其他好文   时间:2014-06-01 14:04:33    阅读次数:403
HBase的JavaAPI使用
Java Client API OverviewHBase是用Java写的,支持用编程语言来动态操作管理数据库,能用命令行做的都能够用API来做。主要的使用步骤例如以下:1.创建一个 Configuration 对象–从 HDFS 对象中调用 Configuration–加入 HBase 属性Con...
分类:编程语言   时间:2014-05-31 20:13:17    阅读次数:370
Apache Spark源码走读之12 -- Hive on Spark运行环境搭建
Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapRed...
分类:其他好文   时间:2014-05-30 14:23:07    阅读次数:409
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!