码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
对于HBase的MapReduce性能提升方案之BulkLoad
我们知道,在第一次海量数据批量入库时,我们会选择使用BulkLoad的方式。 简介一下BulkLoad原理方式:(1)通过MapReduce的方式,在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到对应的HBase表中。 ps:请注意(1)HFile方式是所有的加载方案里面是最快的,前提是:数据必须第一个导...
分类:其他好文   时间:2014-10-16 20:16:53    阅读次数:283
hbase importtsv
hadoop jar hbase-server-0.98.1-cdh5.1.3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:imsi,cf:imei -Dimporttsv.bulk.output=/user/libc/tmp1 -Dimpo...
分类:其他好文   时间:2014-10-16 01:06:01    阅读次数:274
你用pig分析access_log日志中ip访问次数
环境说明:os版本:rhel5.764位hadoop版本:hadoop-0.20.2hbase版本:hbase-0.90.5pig版本:pig-0.9.2访问日志文件,下载文章中的附件!日志放在本地目录路径为:/home/hadoop/access_log.txt日志格式为:220.181.108.151--[31/Jan/2012:00:02:32+0800]"GET/home.php?mod=space..
分类:数据库   时间:2014-10-14 21:26:39    阅读次数:392
Hbase调用JavaAPI实现批量导入操作
将手机上网日志文件批量导入到Hbase中,操作步骤: 1、将日志文件(请下载附件)上传到HDFS中,利用hadoop的操作命令上传:hadoop  fs -put input  /   2、创建Hbase表,通过Java操作   Java代码   package com.jiewen.hbase;    import java.io.IOException;...
分类:编程语言   时间:2014-10-14 16:27:40    阅读次数:367
HBase学习(十四)LINUX下用Eclipse构建HBase开发环境
1:从HBase集群中复制一份Hbase部署文件,放置在开发端某一目录下(如在/app/hadoop/hbase096目录下)。 2:在eclipse里新建一个java项目HBase,然后选择项目属性,在Libraries->Add External JARs...,然后选择/app/hadoop/hbase096/lib下相关的JAR包,如果只是测试用的话,就简单一点,将所有的JAR选上。...
分类:系统相关   时间:2014-10-13 19:23:17    阅读次数:258
spoon kettle连接数据库失败解决方法
Driver class 'oracle.jdbc.driver.OracleDriver' could not be found, make sure the 'Oracle' driver (jar file) is installed.oracle.jdbc.driver.OracleDriv...
分类:数据库   时间:2014-10-13 17:38:09    阅读次数:224
kettle中调用java类
kettle 调用外部java类,示例说明。...
分类:编程语言   时间:2014-10-12 23:48:18    阅读次数:327
Kettle 5.x使用指南
Kettle是ETL工具,它可以把文本文件的数据导入数据到HBase中,本文主要描述如何使用最新的Kettle 5.X版本把文本文件导入到hadoop-1.2.1+HBase 0.94.19的数据库中。...
分类:其他好文   时间:2014-10-12 23:32:38    阅读次数:168
hbase 启动不了,删除了hdfs 上的hbase文件夹和文件
无意将hdfs上的hbase文件(hbase的rootDir为hdfs:master1:9000/hbase)删掉了,重启hbase和ZK都不行 解决方案:使用hbase的ZK 即设置 hbase-env.sh 中的 ?HBASE_MANAGES_ZK 为 true 在重启hbase 即可生成hbase文...
分类:其他好文   时间:2014-10-11 21:04:37    阅读次数:274
HBase学习(十一)hbase Java API 介绍及使用示例
问题导读 1.java api与数据模型是如何对应的? 2.那两个类与HBase数据库有关系? 3.HTable可以用来做什么? 4.如何添加列族、列、列值? 5.hbase查询有几种方式? 几个相关类与HBase数据模型之间的对应关系 java类 HBase数据模型 HBaseAdmin 数据库(DataBa...
分类:编程语言   时间:2014-10-11 20:41:26    阅读次数:264
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!