以下内容为个人理解,仅供参考。一、简介 Hbase是在HDFS上开发的面向列的分布式数据库,适用于随机读/写超大规模的数据集(通常这种数据压力传统RDBMS很难承受),可以在廉价的硬件上构成的集群上管理超大规模的稀疏表,并且可以水平扩展。二、基础概念 1、Hbase把数据存放在表中,表由行列组成.....
分类:
系统相关 时间:
2014-12-28 23:28:01
阅读次数:
223
移动终端App&Platform开发的高端技术和策略课程By高焕堂老师一、学员条件:l具有3年以上Android应用、平台或底层服务的软件开发经验l熟悉Java、C/C++和JS编程l拥有移动终端设备和嵌入式开发的基本知识l对Spart/Hadoop/Hbase/Scala数据平台有初步认识二、大纲目录:Part-A主..
分类:
移动开发 时间:
2014-12-27 11:30:43
阅读次数:
247
原因:客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数(默认数是30),连接数不够用会导致后续的连接连接不上去。解决办法:设置hbase-site.xml配置文件,添加如下属性 hbase.zookeeper.property.maxClientCnxns 300 Prop...
分类:
其他好文 时间:
2014-12-26 18:18:22
阅读次数:
458
hive与hbase数据类型对应关系
当hbase中double,int 类型以byte方式存储时,用字符串取出来必然是乱码。
在hivd与hbase整合时也遇到这个问题:做法是:#b
1.加#b
CREATE EXTERNAL TABLE hivebig (key string,CUST_NAME string,PHONE_NUM int,BRD_WORK_FLUX double)
...
分类:
其他好文 时间:
2014-12-26 06:15:48
阅读次数:
378
此篇文章基于hive官方英文文档翻译,有些不好理解的地方加入了我个人的理解,官方的英文地址为:
1.https://cwiki.apache.org/confluence/display/Hive/StorageHandlers
2.https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
一 存...
分类:
其他好文 时间:
2014-12-26 06:14:31
阅读次数:
324
介绍 为了提供并发处理效率,把用户的请求连接随机分配到线程池的线程进行处理,hbase也是采用同样的方式处理用户请求的 客户端代码可以参考:基于java.nio.channels的编程实践-I 代码 import?java.io.IOExcepti...
分类:
编程语言 时间:
2014-12-25 11:38:03
阅读次数:
161
1、插入HBase表传统方法具有什么问题?我们先看下HBase的写流程:通常MapReduce
在写HBase时使用的是TableOutputFormat方式,在map/reduce中直接生成put对象写入HBase,该方式在大量数据写入时效率低下,因为HBase会block写入,频繁进行flush、split、compact等大量IO操作,这..
分类:
其他好文 时间:
2014-12-25 06:44:40
阅读次数:
223
在对HBase数据库的查询中,用到了SingleColumnValueFilter用于实现对于时间列中某一段时间记录的过滤,并且使用scan.addColumn获取结果中的某一列,具体使用如下:Scan scan = new Scan(); List filters = new ArrayList(...
分类:
其他好文 时间:
2014-12-24 17:45:34
阅读次数:
371
概念 ????????注解@Retention可以用来修饰注解,是注解的注解,称为元注解。 ????????Retention注解有一个属性value,是RetentionPolicy类型的,Enum RetentionPolicy是一个枚举类型, ?????...
分类:
其他好文 时间:
2014-12-24 16:31:24
阅读次数:
212
1. 进入hbase命令行 ./hbase shell
2. 显示hbase中的表 list
3. 创建user表,包含info、data两个列族
create 'user', 'info1', 'data1'
create 'user', {NAME => 'info', VERSIONS => '3'}
4. 向表中插入信息:
向user表中插入信息,row...
分类:
系统相关 时间:
2014-12-23 22:42:14
阅读次数:
299