1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据, 直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的reg...
分类:
其他好文 时间:
2014-09-09 17:40:49
阅读次数:
203
package org.robby;
import java.io.IOException;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashSet;
i...
分类:
其他好文 时间:
2014-09-09 13:26:48
阅读次数:
211
';if(ob_get_level() == 0) ob_start();echo 'Downloading...';echo str_pad('',4096)."\n";ob_flush();flush();sleep(1);//$imgurls_array = file('imgurlstest...
分类:
Web程序 时间:
2014-09-09 11:04:08
阅读次数:
235
sqoop 导入 hive
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B
ERROR tool.ImportTool: Encountered IOException running import ...
分类:
编程语言 时间:
2014-09-08 03:15:26
阅读次数:
432
写在前面在这次的审稿过程中有幸得到了Ted Yu和梁堰波先生的反馈,大家就一些感兴趣的内容进行了讨论。该方案由一个智能交通解决方案演变而来,设计之初仅寄希望于通过二级索引提升查询性能,由于在前期架构时充分考虑了通用性以及对复杂条件的支持,在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。Ted ...
分类:
其他好文 时间:
2014-09-07 14:46:35
阅读次数:
308
从 NOSQL的类型到 常用的产品,我们已经做过很多关于NoSQL的文章,今天我们从国内著名的互联网公司及科研机构的实战谈一下NoSQL数据库。 NoSQL一定程度上是基于一个很重要的原理—— CAP原理提出来的。传统的SQL数据库(关系型数据库)都具有ACID属性,对一致性要求很高,因此降低了A....
分类:
数据库 时间:
2014-09-05 19:53:41
阅读次数:
331
HBase查询引擎——Phoenix的使用
介绍:Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。更多参考官网:http://phoenix.apache.org/...
分类:
其他好文 时间:
2014-09-05 16:14:01
阅读次数:
314
OSCache报错error while trying to flush writer
分类:
其他好文 时间:
2014-09-05 15:40:01
阅读次数:
126
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas...
分类:
编程语言 时间:
2014-09-04 18:48:09
阅读次数:
165
最近需要用到solr,查询Hbase里面的数据,编译Solr的时候遇到了点问题: 下了solr的源码后需要用ant自己编译: 源码下载地址:https://svn.apache.org/repos/asf/lucene/dev/trunk第一种办法: 1、安装好ant后进入到solr所在目录 ...
分类:
其他好文 时间:
2014-09-04 18:41:39
阅读次数:
295