LSM(Log Structured Merge Trees)数据组织方式被应用于多种数据库,如LevelDB、HBase、Cassandra等,下面我们从为什么使用LSM、LSM的实现思路两方面介绍这种存储组织结构,完成对LSM的初步了解。存储背景回顾LSM相较B+树或其他索引存储实现方式,提供了...
分类:
其他好文 时间:
2015-03-01 22:21:52
阅读次数:
1807
导读:Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,Apache HBase是运行于HDFS顶层的NoSQL(=Not Only SQL,泛指非关系型的数据库)数据库系统。区别于Hive,HBase具备随即读写功能,是一种面向列的数据库。对于刚接触大数据的用户来...
分类:
其他好文 时间:
2015-03-01 13:01:55
阅读次数:
223
在网上查In-Memory NoSQL性能测试的资料时,偶然间发现了这个性能测试工具YCSB,全称为“Yahoo! Cloud Serving Benchmark”。它内置了对常见NoSQL数据库和数据网格产品的支持,如Cassandra、MongoDB、HBase、Redis、Infinispan等等很多的主流产品,而且不仅安装使用简单,还能自由扩展测试数据类型和支持的数据库产品。1 编译安装首...
分类:
其他好文 时间:
2015-02-28 23:03:05
阅读次数:
2152
SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 (3)导入导出的事务是以Mapper任务为单位。1、sqoop的安装步骤 1....
分类:
其他好文 时间:
2015-02-28 18:05:17
阅读次数:
199
本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。安装的前提条件是已经安装成功了hadoop,并且hadoop的版本号要和hbase的版本号相匹配。我将要安装的hbase是hbase-0.94.11版本号,须要的hadoop是hadoop-1.2.1版本号。hbase下载地址:htt...
分类:
其他好文 时间:
2015-02-28 15:59:59
阅读次数:
173
HBase 版本: 0.98.6thrift 版本: 0.9.0使用 thrift client with python 连接 HBase 报错: 1 Traceback (most recent call last): 2 File "D:\workspace\Python\py\hellow.....
分类:
编程语言 时间:
2015-02-27 16:28:17
阅读次数:
393
HBase特点:1.HBase表与表之间没有关联查询2.一个数据行(row)可以有唯一的row key和任意数量的列3.表中的数据无char int 等类型之分HBase基本命令:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录put '表名称', '...
分类:
其他好文 时间:
2015-02-25 23:40:09
阅读次数:
143
今天apache发布了最新的hbase 1.0.0,下图是版本变迁历史:详情参考:https://blogs.apache.org/hbase/entry/start_of_a_new_era
分类:
Web程序 时间:
2015-02-24 20:58:24
阅读次数:
219
Hbase Mapreduce编程
hadoop,hbase安装参考:http://blog.csdn.net/mapengbo521521/article/details/41777721
hbase表创建数据插入参考:http://blog.csdn.net/mapengbo521521/article/details/43917119
hbase mapreduce参考:http://...
分类:
其他好文 时间:
2015-02-24 15:10:51
阅读次数:
281
Hbase java API
调用
一. hbase的安装
参考:http://blog.csdn.net/mapengbo521521/article/details/41777721
二.hbase访问方式
Native java api:最常规最高效的访问方式。
Hbase shell:hbase的命令行工具,最简单的接口,适合管理员使用
Thrift gateway:利用t...
分类:
编程语言 时间:
2015-02-24 09:11:08
阅读次数:
428