Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。 背景——功能上的空白 Hadoop生态系统有很 ...
分类：
其他好文 时间：
2018-02-11 12:31:56
阅读次数：
168
深入分析Parquet列式存储格式 Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。 列式存储 列式存储和行式存储相比有哪些优势呢？ 1.可以跳过不符合条件的数据，只 ...
分类：
其他好文 时间：
2018-02-03 20:50:06
阅读次数：
216
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Imp... ...
分类：
其他好文 时间：
2018-01-16 13:54:34
阅读次数：
241
1.特点 Hadoop擅长存储任意的、半结构化数据，甚至非结构化数据。 列式存储：以列为单位聚合数据，然后列值顺序存入磁盘。 列式存储的需要：对于特定的查询，不是所有的值都是必须的；减少IO是主要因素；列的数据类型相似，有利于压缩，提高了压缩比，返回结果时能降低带宽的消耗。 从RDBMS角度看，HB ...
分类：
其他好文 时间：
2017-12-19 19:45:25
阅读次数：
193
add by zhj: 终于明白了什么是列式存储，什么是行式存储。这跟数据在存储介质中的存储结构有关， 列式存储是指，一列中的数据在存储介质中是连续存储的；行式存储是指一行中的数据在存储介质 中是连续存储的。 原文：http://blog.csdn.net/dc_726/article/detail ...
分类：
其他好文 时间：
2017-11-02 14:23:52
阅读次数：
165
一、ORC File文件结构 ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个 ...
分类：
其他好文 时间：
2017-10-16 19:43:52
阅读次数：
402
KV数据库： 只是key有多个层级： 表 + rowkey + column family + column 可以扫一个表的所有记录， 可以查一个表内，一个rowkey的所有column family + column对应value 可以查一个表内，一个rowkey，一个column family ...
分类：
其他好文 时间：
2017-09-21 13:44:25
阅读次数：
291
第一章HBase简介 1． HBase即hadoop数据库，HBase是一个分布式的、持久的、强一致性的存储系统，具有近似最优的写性能和出色的读性能。 2． HBase并不是一个列式存储的数据库，但它利用了磁盘上的列式存储格式。传统的列式存储数据库适合实时存取数据的场景，HBase适合键值对的数据存 ...
分类：
其他好文 时间：
2017-08-26 23:29:59
阅读次数：
244
http://dongxicheng.org/mapreduce-nextgen/columnar-storage-parquet-and-orc/ 相比传统的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐（注：列式存储不是万能高效的，很多场景下行式存储仍更加高效），尤其是在数 ...
分类：
其他好文 时间：
2017-08-14 19:05:31
阅读次数：
165
Kudu的背景 Hadoop中有很多组件，为了实现复杂的功能通常都是使用混合架构， Hbase：实现快速插入和修改，对大量的小规模查询也很迅速 HDFS/Parquet + Impala/Hive：对超大的数据集进行查询分析，对于这类场景， Parquet这种列式存储文件格式具有极大的优势。 HDF ...
分类：
其他好文 时间：
2017-07-20 17:29:13
阅读次数：
381
