一、Split触发条件
1、 有任一一个Hfile的大小超过默认值10G时，都会进行split
2、 达到这个值不在拆分，默认为int_max，不进行拆分
3、compaction时，如果compact的store的大小超过了，则进行split
4、 flush之前会检测区域中HStoreFile数目是否超过hbase.h...
分类：
其他好文 时间：
2014-09-10 10:52:00
阅读次数：
266
1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据， 直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的reg...
分类：
其他好文 时间：
2014-09-09 17:40:49
阅读次数：
203
package org.robby;
import java.io.IOException;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashSet;
i...
分类：
其他好文 时间：
2014-09-09 13:26:48
阅读次数：
211
sqoop 导入 hive
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B
ERROR tool.ImportTool: Encountered IOException running import ...
分类：
编程语言 时间：
2014-09-08 03:15:26
阅读次数：
432
写在前面在这次的审稿过程中有幸得到了Ted Yu和梁堰波先生的反馈，大家就一些感兴趣的内容进行了讨论。该方案由一个智能交通解决方案演变而来，设计之初仅寄希望于通过二级索引提升查询性能，由于在前期架构时充分考虑了通用性以及对复杂条件的支持，在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。Ted ...
分类：
其他好文 时间：
2014-09-07 14:46:35
阅读次数：
308
原文:10. IDENTITY属性使用小结从SQL Server 2012开始有了Sequence，简单用列如下： CREATE SEQUENCE TestSeq
START WITH 1
INCREMENT BY 1 ; SELECT NEXT VALUE FOR TestSeq AS NextV...
分类：
其他好文 时间：
2014-09-06 12:11:43
阅读次数：
323
从 NOSQL的类型到 常用的产品，我们已经做过很多关于NoSQL的文章，今天我们从国内著名的互联网公司及科研机构的实战谈一下NoSQL数据库。 NoSQL一定程度上是基于一个很重要的原理—— CAP原理提出来的。传统的SQL数据库（关系型数据库）都具有ACID属性，对一致性要求很高，因此降低了A....
分类：
数据库 时间：
2014-09-05 19:53:41
阅读次数：
331
HBase查询引擎——Phoenix的使用
介绍：Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。更多参考官网：http://phoenix.apache.org/...
分类：
其他好文 时间：
2014-09-05 16:14:01
阅读次数：
314
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas...
分类：
编程语言 时间：
2014-09-04 18:48:09
阅读次数：
165
最近需要用到solr，查询Hbase里面的数据，编译Solr的时候遇到了点问题： 下了solr的源码后需要用ant自己编译: 源码下载地址：https://svn.apache.org/repos/asf/lucene/dev/trunk第一种办法： 1、安装好ant后进入到solr所在目录 ...
分类：
其他好文 时间：
2014-09-04 18:41:39
阅读次数：
295
