1. 试用thrift python/java以及hbase client api,结论如下:
1.1 thrift的安装和发布繁琐,可能会遇到未知的错误,且hbase.thrift的版本在变化中。优点代码简单,需要打包的内容少。
1.2 hbase client api,需要的jar很多,发布版的容量也很大,打包后近百兆。优点是,明确,无歧义。
2....
分类:
编程语言 时间:
2014-11-12 11:47:03
阅读次数:
287
hadoop是有apache基金会所开发的分布式系统基础架构,其主要提供了两方面的功能:分布式存储和分布式计算。其中分布式存储是分布式计算的基础,在hadoop的实现里面,提供了分布式存储的接口,并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现,其同时支持别的存储系统,并在别的存储系统上运行分布式计算程序(mapreduce)。 从开发角度来说,h...
分类:
其他好文 时间:
2014-11-11 09:22:37
阅读次数:
239
hbase rowkey 设计(三维有序)看这篇文章,你首先要了解hbase的基本存储模型,不懂的可以看我的文章,有做特别的说明。今天难得有时间,写博文,特地总结下一直想写hbase的实践经验,在用hbase的过程中,我们都知道,rowkey设计的好坏,是我们能最大发挥hbase的架构优势,也是我们...
分类:
其他好文 时间:
2014-11-10 17:09:41
阅读次数:
186
HBase提供了备份的API,直接使用shell脚本调用就可以啦。具体命令如下:
hbase org.apache.hadoop.hbase.mapreduce.Export 'user' /hbase_backup_set/20141110/user
hbase org.apache.hadoop.hbase.mapreduce.Import 'user' /hbase_backup_set...
分类:
其他好文 时间:
2014-11-10 15:34:23
阅读次数:
163
ubuntu14.04,eclipse下操作hbase。下面是一个利用hbase java api操作hbase,查看hbase中表student1列族情况的example:
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseCo...
分类:
系统相关 时间:
2014-11-10 15:33:33
阅读次数:
182
基于Solr的HBase多条件查询——转载:背景:某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率...
分类:
其他好文 时间:
2014-11-09 11:03:19
阅读次数:
468