在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K
启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次）
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升，但如果要...
分类：
其他好文 时间：
2014-06-19 10:16:00
阅读次数：
296
OpenTSDB是基于HBase存储时间序列数据的一个开源数据库，确切地说，它只是一个HBase的应用而已，其对于时间序列数据的处理可以供其他系统参考和借鉴。本文会针对它在数据库的设计方面展开一些探索和讨论。本文基于的是OpenTSDB最早的一个稳定版本1.0.0进行讲解的，下载部署完成之后，我们首先需要了解的是它的数据库Schema， 它主要有两个表：tsdb-uid和tsdb. 前者描述指标（...
分类：
数据库 时间：
2014-06-16 20:55:00
阅读次数：
308
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
目标：学习Hbase，实现在本地文件系统中中安装Hbase参考资料：apache官方文档，HbaseQuickStart环境：MacOS上运行虚拟机，虚拟机中操作系统为CentOS安装过程： 1、安装JDK，本次安装过程中使用的JDK版本是jdk1.8。下载JDK后，执行默认安装； 2、下载HBase（http://mirror.esocc..
分类：
其他好文 时间：
2014-06-16 15:32:25
阅读次数：
191
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
一、修改方法的外部参数名称，例子如下class Counter { var count = 0; func increment() { count++; } func incrementBy(amount:Int, numOfTimes:Int){ count += amount...
分类：
其他好文 时间：
2014-06-14 21:09:25
阅读次数：
268
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类：
其他好文 时间：
2014-06-13 17:01:24
阅读次数：
142
有这样一个业务场景，需要在2个表里比较存在于A表，不存在于B表的数据。表结构如下：T_SETTINGS_BACKUP | CREATE TABLE
`T_SETTINGS_BACKUP` ( `FID` bigint(20) NOT NULL AUTO_INCREMENT, `FUSERID` .....
分类：
数据库 时间：
2014-06-12 21:32:15
阅读次数：
453
一、表学生表CREATETABLE`t_student`(`stuNum`int(11)NOTNULLauto_increment,`stuName`varchar(20)defaultNULL,`birthday`datedefaultNULL,PRIMARYKEY(`stuNum`))ENGINE=InnoDBDEFAULTCHARSET=utf8学生分数表CREATETABLE`t_stu_score`(`id`int(11)NOTNULLauto_increment,`stuNu..
分类：
数据库 时间：
2014-06-10 22:55:29
阅读次数：
372
