码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
HRegionServer Flush操作源码分析
Flush操作是将HBase中的数据存到硬盘上的过程,具体的flush的流程图如下,本文主要简要分析flush的过程相关源码。 Flush 任务提交每当HRegion完成数据插入的操作的时候,就会进行检查此时是否需要进行一次flush,flush是将HRegion缓存的数据存储到磁盘的过程:long addedSize = doMiniBatchMutation(batchOp); long ne...
分类:其他好文   时间:2015-05-06 11:06:27    阅读次数:156
hbase源码导入eclipse
首先去Apache的官网下载hbase1.0.1的源码包由于源码包是用maven管理,需要安装maven1.安装MAVEN下载安装包解压文件,Maven需要JDK的支持,配置JAVA_HOME和Path环境变量,命令行输入mvn-version,如下图所示表示安装成功2.配置本地仓库路径打开...\apache-maven-3.3.3\conf目录..
分类:系统相关   时间:2015-05-06 01:39:28    阅读次数:317
mapreduce实现从hbase中统计数据,结果存入mysql中
最近开始学习使用mapreduce统计hbase中的数据,并将结果集存入mysql中,供前台查询使用。使用hadoop版本为2.5.1,hbase版本为0.98.6.1mapreduce程序分为三个部分:job、map函数、reduce函数job类: 1 public class DayFaultS...
分类:数据库   时间:2015-05-05 16:11:24    阅读次数:373
Hbase0.98的环境搭建
0 安装前提: jDK7 ,hadoop1.1.21 下载与hadoop对应的hbase版本:http://mirror.bit.edu.cn/apache/hbase/hbase-0.98.12/我这里使用的BIT大学的镜像, 下载与之对应的hbase包,bin代表已经编译过的,hadoop1代表...
分类:其他好文   时间:2015-05-04 23:44:56    阅读次数:181
hbase性能优化
查询缓存Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配。我们可以设置caching为比1大得多的值。例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存开销会越多。HTableInterfacehTable=getHTable(tableName);Scans..
分类:其他好文   时间:2015-05-04 20:24:20    阅读次数:153
hbase性能优化
查询缓存Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配。我们可以设置caching为比1大得多的值。例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存开销会越多。HTableInterface hTable=getHTa...
分类:其他好文   时间:2015-05-04 19:42:33    阅读次数:214
hbase性能优化详解
查询缓存 Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配。我们可以设置caching为比1大得多的值。例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存...
分类:其他好文   时间:2015-05-04 18:23:06    阅读次数:227
CentOS6.5的64bit操作系统搭建单机版hbase-0.92.1环境
一、描述 初学HBase的新手,可以在Linux系统上先搭建一个单机版的HBase环境来熟悉一下HBase Shell命令,以及HBase数据存储的各种操作。我们在CentOS6.5操作系统中安装hbase-0.92.1。 所需软件:CentOS6.5系统,当然也可以是别的Linux系统、hbase-0.92.1.tar.gz安装包、jdk-6u31-linux-x64-rpm.bin(hba...
分类:其他好文   时间:2015-05-03 17:30:54    阅读次数:185
SecureCRT终端上编写hbase shell脚本,无法使用删除键的解决方案
一、描述 在SecureCRT终端上远程连接Linux系统,并且使用hbase shell脚本进行分布式数据库操作,但是无法使用删除键修改输入错误的脚本。 二、解决方案 第一步:在SecureCRT的菜单栏选择“选项”按钮,在弹出的选项中选择“会话选项”; 第二步:在弹出的对话框中选择左侧的“终端”,再选择“仿真”,在右侧终端的选择中选择“Linux”; ...
分类:系统相关   时间:2015-05-03 16:04:08    阅读次数:181
你真的了解nosql世界吗?
最近闲来无事就想梳理下自己了解的nosql的知识和所知道的一些nosql数据库。一来是加深自己对nosql的理解;二来是将自己所掌握的知识整理下,使其更有条理。 因此,我就开始做这件事了,因为自己也就是了解些HBase,redis,Cassandra,mongoDB等这些最常见的nosql数据库,起初还以为就跟关系型数据库一样就那常用的几种呢,然后就开始从网上找些相关的资料,搜罗资料中所有自己...
分类:数据库   时间:2015-05-03 09:23:39    阅读次数:142
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!