Hregion.doMiniBatchMutation 内部实现 1.获取相关的锁，由于HBase要确保行一级的原子性，所以获取锁的时候获取的是整个rowkey的锁而不是单个cell的锁；也只有当至少获取一个锁的时候，这个方法才会继续，否则直接返回。 2.更新cell中的时间戳(timestamp) ...
分类：
Web程序 时间：
2019-04-01 00:34:03
阅读次数：
251
在合并Region的过程中出现永久RIT怎么办？笔者在生产环境中就遇到过这种情况，在批量合并Region的过程中，出现了永久MERGING_NEW的情况，虽然这种情况不会影响现有集群的正常的服务能力，但是如果集群有某个节点发生重启，那么可能此时该RegionServer上的Region是没法均衡的。 ...
分类：
其他好文 时间：
2019-03-30 16:10:35
阅读次数：
302
本文主要是hbase的表操作、数据操作、数据查询过滤等，如果对JDBC或ADO有了解，容易理解HBASE API。 hbase版本是2.0。 1、为了方便先贴helper的部分代码（文末git上有完整的测试代码），主要是为了复用Connection。 初始化，用来初始化hbase配置，连接hbase ...
分类：
编程语言 时间：
2019-03-30 13:15:33
阅读次数：
206
最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。 通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。 第一步：备份hdfs-site.xml配置文件 第二步：添加数据磁盘、格式化，并挂载到/data2目录 第三 ...
分类：
其他好文 时间：
2019-03-30 10:55:15
阅读次数：
217
//memstoreflush机制和flushshell命令刷新//Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置，对hbase集群管理、性能调优都有着非常重要的帮助。写机制（大约）1、HBase是基于LSM-Tree模型的，2、所有的数据更新插入操作都首先写入Memstore中（
分类：
系统相关 时间：
2019-03-28 18:18:54
阅读次数：
250
2019/3/28星期四hbase数据写入流程深度解析在看此链接之前，可以写查看hbase读写请求详细解释中的写请求流程https://blog.51cto.com/12445535/2356085简介：hbase设置之初就是为了应对大量的写多读少的应用，他出色的写性能，在一个100台RS的集群可以轻松地支撑每天10T的写入量。hbase的写数据流程大体分为3部分1、客户端的写入流程2、服务端的写
分类：
其他好文 时间：
2019-03-28 16:52:52
阅读次数：
170
Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Wed Mar 27 22:11:07 CST 2019 ...
分类：
编程语言 时间：
2019-03-28 00:24:31
阅读次数：
253
HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1.创建测试表studne ...
分类：
其他好文 时间：
2019-03-27 10:52:48
阅读次数：
136
hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结... ...
分类：
其他好文 时间：
2019-03-26 22:37:59
阅读次数：
191
需求 将HDFS上的数据解析出来，然后通过hfile方式批量写入Hbase（需要多列写入） 写入数据的关键api： 特殊地方： 1）： 最初写hfile警告??： 这个原因大概3种： A：代码问题 B：数据源问题 C：setMapOutputKeyClass 和 saveAsNewAPIHadoop ...
分类：
其他好文 时间：
2019-03-26 22:30:17
阅读次数：
379
