码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink lzo 格式压缩    ( 6349个结果
Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类:其他好文   时间:2014-06-20 13:33:46    阅读次数:151
hadoop-2.2.0编译
由于从官网下载的hadoop中依赖包native hadoop library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:其他好文   时间:2014-06-06 23:38:29    阅读次数:494
Hadoop 组成
这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,还有一个是mapreduce这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动 nam...
分类:其他好文   时间:2014-06-06 19:27:24    阅读次数:322
王家林的云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
一:课程简介:作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的、高效,的、可伸缩的,能够使用普通的社区服务器出来PB...
分类:其他好文   时间:2014-06-05 16:37:09    阅读次数:285
Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookeeper&Sqoop&Pig&Flume&Project) - 0515
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:其他好文   时间:2014-06-05 14:25:48    阅读次数:300
王家林的云计算分布式大数据Hadoop企业级开发动手实践
一:课程简介: Hadoop是云计算分布式大数据的事实标准软件框架,Hadoop中的架构实现是整个云计算产业技术的基础,作为与Google三大核心技术DFS、MapReduce、BigTable相对的HDFS、MapReduce、和HBase也是整个Hadoop生态系统的核心的技术,本课程致力于帮您...
分类:其他好文   时间:2014-06-05 14:17:33    阅读次数:273
Hadoop常见配置
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类:其他好文   时间:2014-06-04 14:40:40    阅读次数:254
让你系统认识flume及安装和使用flume1.5传输数据到hadoop2.2
问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一、认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flume是干什么的?收集日志的3.flume如何搜集日志?我们把flume比作情报人员(1)搜集信息(2...
分类:其他好文   时间:2014-06-02 15:38:43    阅读次数:477
Hive创建外部表以及分区
创建外部表的好处是数据可以随时从hdfs中挂载进表中使用分区的好处是可以缩短查询范围下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, col_b string, col_c string, col_d string, col_...
分类:其他好文   时间:2014-06-01 14:04:33    阅读次数:403
HBase的JavaAPI使用
Java Client API OverviewHBase是用Java写的,支持用编程语言来动态操作管理数据库,能用命令行做的都能够用API来做。主要的使用步骤例如以下:1.创建一个 Configuration 对象–从 HDFS 对象中调用 Configuration–加入 HBase 属性Con...
分类:编程语言   时间:2014-05-31 20:13:17    阅读次数:370
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!