对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程...
分类:
其他好文 时间:
2014-07-22 22:45:54
阅读次数:
257
Oracle创建序列,删除序列,得到序列序列的创建create sequence seq_newsId increment by 1 start with 1 maxvalue 999999999;得到序列的SQL语句select seq_newsid.nextval from sys.dual;删...
分类:
数据库 时间:
2014-07-22 22:44:32
阅读次数:
272
本次主要是采用hbase自带的importtsv工具来导入。首先要把数据文件上传到hdfs上,然后导入hbase表格。该导入方式只支持.tsv数据文件的导入。导入流程:1.下载数据。我们在本文中将使用 “美国国家海洋和大气管理局 气候平均值”的公共数据集合。访问http://www1.ncdc.no...
分类:
其他好文 时间:
2014-07-22 22:36:13
阅读次数:
406
我用的是cdh4.5版本:配置文件:$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类:
其他好文 时间:
2014-07-22 22:35:55
阅读次数:
204
首先建立分类信息表:[sql] view plaincopyCREATETABLEIFNOTEXISTS`category`(`categoryId`smallint(5)unsignedNOTNULLAUTO_INCREMENT,`parentId`smallint(5)unsignedNOTNU...
分类:
Web程序 时间:
2014-07-22 22:34:53
阅读次数:
335
创建一个数据库 CREATE?TABLE?`message`?(
??`id`?tinyint(1)?NOT?NULL?auto_increment,
??`user`?varchar(25)?NOT?NULL,
??`title`?varchar(50)?NOT?NULL,
??`content`?tinytext?NOT?N...
分类:
数据库 时间:
2014-07-22 08:28:34
阅读次数:
301
Hbase特征:
最近在学习Hbase,Hbase基于行健是建立了索引的,查询速度会非常快,完全实时。
但是Hbase要基于行健之外的字段进行查询,那么就只能是全盘扫描,基本上不可接受。
所以Hbase一般来说会针对具体的应用场景来设计行健,利用基于行健的查询的实时性来达到Hbase数据的实时查询。
关系型数据库基于索引字段的实时查询:
然后联想到关系型SQL数据库,他们针对主键是...
分类:
数据库 时间:
2014-07-22 00:07:33
阅读次数:
282
HBase是面向列的分布式的数据库,和传统的关系型数据库有很大的不同:物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念: 表:HBase将数据组织到自己的HTable表中,这个表是根据列族(colomn family)在物理上保存数据的,每个列族都有自己...
分类:
其他好文 时间:
2014-07-21 14:22:20
阅读次数:
1257
正在需要的时候发现了这个大牛的博文,动手实践过后,记录在此。 --user表
Create?Table:?CREATE?TABLE?`user`?(
??`id`?int(11)?NOT?NULL?AUTO_INCREMENT,
??`username`?varchar(45)?DEFAULT?N...
分类:
其他好文 时间:
2014-07-21 10:24:59
阅读次数:
239
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中,提到sqoop可以让RDBMS和HDFS之间互导数据,并且也支持从mysql中导入到HBase,但从HBase直接导入mysq...
分类:
数据库 时间:
2014-07-18 20:00:07
阅读次数:
482