OpenTSDB是基于HBase的开源监控系统，可以支持上万规模集群监控和上亿数据点采集。其中TSDB代表Time Series Database，OpenTSDB在时间序列数据的存储和查询上都做了相当多的优化工作。
架构Overview
概念上OpenTSDB由三部分组成：tcollector数据采集、tsd数据服务和HBase数据存储。
数据采集流程
如上图，tco...
分类：
数据库 时间：
2014-07-30 17:33:34
阅读次数：
510
一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求...
分类：
其他好文 时间：
2014-07-30 09:59:03
阅读次数：
358
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
本文部分来源：http://www.it165.net/admin/html/201406/3239.html https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration创建 表：hbase_hive_1REATE TABLE....
分类：
其他好文 时间：
2014-07-29 16:51:32
阅读次数：
285
LZ4算法又称为RealtimeCompressionAlgorithm，在操作系统(linux/freeBSD)、文件系统(OpenZFS)、大数据(Hadoop)、搜索引擎(Lucene/solr)、数据库(Hbase)……都可以看到它的身影，可以说是一个非常通用的算法。LZ4最突出的地方在于它的压缩/解压速度。基础知识理解Lucene中LZ4算..
分类：
其他好文 时间：
2014-07-29 15:24:30
阅读次数：
483
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。
随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级...
分类：
其他好文 时间：
2014-07-29 14:47:08
阅读次数：
301
本文整理汇总了本博客自去年学习HBase以来写的所有关于HBase的相关内容。持续更新中，更多内容，敬请关注！
相关知识：
1、《布隆过滤器（Bloom Filter）》
2、《7-bit整数(Integer)压缩算法》
3、《Java NIO（上）》《Java NIO（下）》
HBase安装：
1、《CentOS分布式环境安装HBase-0.96.0》
2、《centos集群上...
分类：
其他好文 时间：
2014-07-29 12:55:37
阅读次数：
372
因为业务需要，需要将一批mysql数据导入到HBASE，现在先将数据从Mysql导出到HDFS。版本：hadoop CDH4.5，Hbase-0.946 1、实体类 YqBean 是我的实体类，请根据自己需要修改，实体类需要 implements Writable, DBWritable。 ...
分类：
数据库 时间：
2014-07-29 11:50:56
阅读次数：
292
案例取自streaming-app项目package com.asiainfo.ocdc.streaming.toolsimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.conf.Configurati...
分类：
其他好文 时间：
2014-07-29 11:02:26
阅读次数：
1081
转载请注明出处： jiq?钦's technical Blog - 季义钦
一、开篇
淘宝之前使用的存储层架构一直是MySQL数据库，配合以MongDB，Tair等存储。
MySQL由于开源，并且生态系统良好，本身拥有分库分表等多种解决方案，因此很长一段时间内都满足淘宝大量业务的需求。但是由于业务的多样化发展，有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化：
(1)...
分类：
数据库 时间：
2014-07-27 11:22:22
阅读次数：
446
