什么是hbasehbase是一个高可靠性、高性能、高吞吐量、面向列、可伸缩的分布式数据库,设计的最初目的是用来解决关系型数据库在处理海量数据时的局限性。hbase特性海量数据(TB\PB)高吞吐量高性能(海量数据中实现高效随机读取)可伸缩能够同时处理结构化和非结构化的数据不需要拥有传统数据库所具备的...
分类:
其他好文 时间:
2014-08-29 17:58:58
阅读次数:
236
一表结构如下:MySQL5.5.305.6.20版本,表大概有815万行CREATETABLEt_audit_operate_log(Fidbigint(16)AUTO_INCREMENT,Fcreate_timeint(10)unsignedNOTNULLDEFAULT‘0‘,Fuservarchar(50)DEFAULT‘‘,Fipbigint(16)DEFAULTNULL,Foperate_object_idbigint(20)DEFAULT‘0‘,PRIMARYKEY(Fi..
分类:
数据库 时间:
2014-08-29 03:02:57
阅读次数:
332
1、region热点:
开始会不断往一个region写,可以预划分region
在rowkey加哈希前缀 对region server数量取余
2、memstore提高写性能,blockcache提高读性能,看需求调整
3、使用bloomfilter,如果大多是scan顺序读,可将block设大些,默认块大小是64K,可以设为128
4、设计好rowkey
5、关闭major comp...
分类:
其他好文 时间:
2014-08-28 16:58:40
阅读次数:
176
1.开启Hbase的Thrift服务在Hbase的master上运行:hbase-daemon.sh start thrift -threadpool1.下载Thrift 0.7.0的源码和代码生成工具(姑且这么叫)从上面提供的Thrift下载页面中的目录里分别下载代码生成工具:thrift-0.7...
分类:
其他好文 时间:
2014-08-28 11:16:09
阅读次数:
408
开始我以为必须设置成主键,因为一般只有id主键才是自增的,后来发现只要是Key就可以。 于是我试着把它设置成唯一约束,结果成功了。 CREATE TABLE testtable( ???? id varchar(50) NOT NULL, ???? ap...
分类:
数据库 时间:
2014-08-27 19:03:49
阅读次数:
328
一般操作查看服务器状态status查看hbase版本versionDDL操作创建表create 'member','member_id','address','info'创建了3个列族,分别是member_id, address, info知识点回顾:cf是schema的一部分,而column不是。...
分类:
其他好文 时间:
2014-08-27 16:30:58
阅读次数:
225
关于MemStore的补充在通过HStore.add向store中加入?一个kv时,首先把数据写入到memstore中。这一点没有什么说明;publiclongadd(finalKeyValue kv) {lock.readLock().lock();try{returnthis.memstore....
分类:
其他好文 时间:
2014-08-27 12:50:57
阅读次数:
235
1.使用“连接池”如果每次和Hbase交互时都去新建连接的话,显然是低效率的,HBase也提供类连接池相关的API。1.1.HTablePool早期的API中使用它,但很不幸,现在它已经过时了。在次不再描述。1.2.HConnection取代HTablePool的就是现在的HConnection,可...
分类:
编程语言 时间:
2014-08-26 16:55:16
阅读次数:
311
对数据库存储过程还不是很熟练,一时半会还写不出函数,所以就干脆用php写了个程序。
十几个数据库,每个库里都有几百张表,数据全部被清空了,但是表里的自增字段的值却还是保留着原表里的,要全部一次性的还原到初始值,若是一个表一个表的修改,不知道要改到猴年马月。
//..
分类:
数据库 时间:
2014-08-26 03:09:35
阅读次数:
219