本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。
目 录 [ - ]
前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划
前言
hbase是从 hadoop中分离出来的apache顶级开源项目。由...
分类:
其他好文 时间:
2014-06-05 08:43:04
阅读次数:
275
说明:类似于RDBMS中触发器,允许用户在region服务器上运行自己的代码,在客户端用户不用关心操作具体在哪进行使用场景:权限控制,回调函数(钩子函数)、扫描统计等主要类:observer和endpointobserver:类似触发器,回调函数在特定事件发生时执行endpoint:类似数据库存储过...
分类:
其他好文 时间:
2014-06-03 13:22:54
阅读次数:
229
Hadoop2.0是对Hadoop1.0全面升级,诞生了通用的计算框架YARN,很多计算框架或者应用程序不再基于传统的操作系统开发,而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez,当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本,比如Storm-on-yarn,S...
分类:
其他好文 时间:
2014-06-03 13:09:44
阅读次数:
336
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常:
java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001...
分类:
编程语言 时间:
2014-06-03 05:55:44
阅读次数:
359
触发region
flush的因素有很多,如手动触发,memstore压力触发,memstore到达限制触发,flush时间触发等。regionserver的flush由flush实际操作步骤为
1.获得region写锁,将region的所有store执行prepare,产生snapshort,释....
分类:
其他好文 时间:
2014-05-31 21:57:30
阅读次数:
317
Hbase的安装须要考虑Hadoop的版本号,即兼容性。有不足的希望能指出。下面考究官网得到的,关于hadoop版本号和hbase版本号可到下面网址中下载:http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96....
分类:
其他好文 时间:
2014-05-31 15:24:19
阅读次数:
377
qwt是一个基于LGPL版权协议的开源项目,
可生成各种统计图。它为具有技术专业背景的程序提供GUI组件和一组实用类,其目标是以基于2D方式的窗体部件来显示数据, 数据源以数值,数组或一组浮点数等方式提供,
输出方式可以是Curves(曲线),Slider(滚动条),Dials(圆盘),Compas...
分类:
其他好文 时间:
2014-05-31 14:14:17
阅读次数:
248
A) 简介1、QWT是一个基于LGPL版权协议的开源项目,
可生成各种统计图。它为具有技术专业背景的程序提供GUI组件和一组实用类,其目标是以基于2D方式的窗体部件来显示数据, 数据源以数值,数组或一组浮点数等方式提供,
输出方式可以是Curves(曲线),Slider(滚动条),Dials(圆盘)...
.h#include "cocos2d.h"#include
"cocos-ext.h"#include "ui/CocosGUI.h"#include
"cocostudio/CocoStudio.h"USING_NS_CC;USING_NS_CC_EXT;using namespace ui; ...
分类:
其他好文 时间:
2014-05-31 03:16:56
阅读次数:
270
本篇是本人在做一个大数据项目时,对于系统架构的一点总结,如何在保证存储量的情况下,又能保证数据的检索速度。
分类:
其他好文 时间:
2014-05-30 20:34:01
阅读次数:
405