Flush操作是将HBase中的数据存到硬盘上的过程,具体的flush的流程图如下,本文主要简要分析flush的过程相关源码。
Flush 任务提交每当HRegion完成数据插入的操作的时候,就会进行检查此时是否需要进行一次flush,flush是将HRegion缓存的数据存储到磁盘的过程:long addedSize = doMiniBatchMutation(batchOp);
long ne...
分类:
其他好文 时间:
2015-05-06 11:06:27
阅读次数:
156
首先去Apache的官网下载hbase1.0.1的源码包由于源码包是用maven管理,需要安装maven1.安装MAVEN下载安装包解压文件,Maven需要JDK的支持,配置JAVA_HOME和Path环境变量,命令行输入mvn-version,如下图所示表示安装成功2.配置本地仓库路径打开...\apache-maven-3.3.3\conf目录..
分类:
系统相关 时间:
2015-05-06 01:39:28
阅读次数:
317
最近开始学习使用mapreduce统计hbase中的数据,并将结果集存入mysql中,供前台查询使用。使用hadoop版本为2.5.1,hbase版本为0.98.6.1mapreduce程序分为三个部分:job、map函数、reduce函数job类: 1 public class DayFaultS...
分类:
数据库 时间:
2015-05-05 16:11:24
阅读次数:
373
0 安装前提: jDK7 ,hadoop1.1.21 下载与hadoop对应的hbase版本:http://mirror.bit.edu.cn/apache/hbase/hbase-0.98.12/我这里使用的BIT大学的镜像, 下载与之对应的hbase包,bin代表已经编译过的,hadoop1代表...
分类:
其他好文 时间:
2015-05-04 23:44:56
阅读次数:
181
查询缓存Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配。我们可以设置caching为比1大得多的值。例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存开销会越多。HTableInterfacehTable=getHTable(tableName);Scans..
分类:
其他好文 时间:
2015-05-04 20:24:20
阅读次数:
153
查询缓存Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配。我们可以设置caching为比1大得多的值。例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存开销会越多。HTableInterface hTable=getHTa...
分类:
其他好文 时间:
2015-05-04 19:42:33
阅读次数:
214
查询缓存 Scan的caching属性默认值是1,意味着扫描器每次从region服务器抓取1条记录进行匹配。我们可以设置caching为比1大得多的值。例如,设置为500,则一次可以抓取500条,需要注意的是该值设得越大服务器的内存...
分类:
其他好文 时间:
2015-05-04 18:23:06
阅读次数:
227
一、描述
初学HBase的新手,可以在Linux系统上先搭建一个单机版的HBase环境来熟悉一下HBase Shell命令,以及HBase数据存储的各种操作。我们在CentOS6.5操作系统中安装hbase-0.92.1。
所需软件:CentOS6.5系统,当然也可以是别的Linux系统、hbase-0.92.1.tar.gz安装包、jdk-6u31-linux-x64-rpm.bin(hba...
分类:
其他好文 时间:
2015-05-03 17:30:54
阅读次数:
185
一、描述
在SecureCRT终端上远程连接Linux系统,并且使用hbase shell脚本进行分布式数据库操作,但是无法使用删除键修改输入错误的脚本。
二、解决方案
第一步:在SecureCRT的菜单栏选择“选项”按钮,在弹出的选项中选择“会话选项”;
第二步:在弹出的对话框中选择左侧的“终端”,再选择“仿真”,在右侧终端的选择中选择“Linux”;
...
分类:
系统相关 时间:
2015-05-03 16:04:08
阅读次数:
181
最近闲来无事就想梳理下自己了解的nosql的知识和所知道的一些nosql数据库。一来是加深自己对nosql的理解;二来是将自己所掌握的知识整理下,使其更有条理。
因此,我就开始做这件事了,因为自己也就是了解些HBase,redis,Cassandra,mongoDB等这些最常见的nosql数据库,起初还以为就跟关系型数据库一样就那常用的几种呢,然后就开始从网上找些相关的资料,搜罗资料中所有自己...
分类:
数据库 时间:
2015-05-03 09:23:39
阅读次数:
142