0 引言 和其他数据库一样，优化IO也是HBase提升性能的不二法宝，而提供缓存更是优化的重中之重。 根据二八法则，80%的业务请求都集中在20%的热点数据上，因此将这部分数据缓存起就可以极大地提升系统性能。 HBase在实现中提供了两种缓存结构：MemStore和BlockCache。其中MemS ...
分类：
系统相关 时间：
2018-12-17 02:02:51
阅读次数：
271
背景： 有时我们要根据输入的参数判断该走哪一个分支，比如aa为空走分支1，不为空走分支2， 可以把走的数据封装在trans里面，通过switch /case来进行控制； 如下图： switch /case 内容： 这样aa为空走分支1 不为空走分支2 获取变量的参数： ...
分类：
其他好文 时间：
2018-12-16 16:34:42
阅读次数：
199
1、预分区设计 附：splits.txt 2、rowkey设计 3、HBase优化 ...
分类：
其他好文 时间：
2018-12-15 23:56:29
阅读次数：
263
一. Hbase 的 region 我们先简单介绍下 Hbase 的 架构和 region ： 从物理集群的角度看，Hbase 集群中，由一个 Hmaster 管理多个 HRegionServer，其中每个 HRegionServer 都对应一台物理机器，一台 HRegionServer 服务器上又 ...
分类：
其他好文 时间：
2018-12-15 13:58:17
阅读次数：
195
Hadoop官网 http://hadoop.apache.org/ Hadoop来源 GFS HDFS MapReduce MapReduce BigTable HBase Common The common utilities that support the other Hadoop modu ...
分类：
其他好文 时间：
2018-12-14 01:09:30
阅读次数：
214
Windows下Kettle定时任务执行并发送错误信息邮件 1.首先安装JDK 2.配置JDK环境 3.下载并解压PDI(kettle) 目前我用的是版本V7的，可以直接百度搜索下载社区版，企业版收费，社区版免费 下载地址：https://sourceforge.net/projects/penta ...
一、概述 在上一篇博文中，我简要介绍了hbase的部分基础概念，如果想初步了解hbase的理论，可以参看上一篇博文 hbase系列之：初识hbase 。本博文主要介绍独立模式下部署hbase及hbase的几个基本操作，需要具备一定的Linux基础。 二、部署前准备 1、纯净的Linux系统，本文使用 ...
分类：
其他好文 时间：
2018-12-12 19:06:04
阅读次数：
229
java中访问hbase有两种方式，一种是hbase自带的client，一种是通过hbase thrift 1 hbase client示例 这里只需要配置zookeeper，访问的过程是先通过zookeeper找hmaster，然后通过hmaster定位到一个region server，然后访问r ...
分类：
其他好文 时间：
2018-12-12 17:32:18
阅读次数：
233
基于版本：CDH5.4.2 上述版本较老，但是目前生产上是使用这个版本，所以以此为例。 1. 概要 说明： 客户端API发送的请求将会被RPCServer的Listener线程监听到。 Listener线程将分配Reader给到此Channel用户后续请求的相应。 Reader线程将请求包装成Cal ...
分类：
其他好文 时间：
2018-12-12 15:45:16
阅读次数：
278
我把公司的kettle5.0升级到7.0之后遇到了这个问题，困扰了很久，百度谷歌都查不到结果，所以只能自己查找原因。 由于已经被搞好了，现在无法截图了，总之就是下面这行报错，遇到这个错误的同学估计也不需要看截图就明白： Unable to get list of element types for ...
分类：
其他好文 时间：
2018-12-12 14:55:40
阅读次数：
292
