一：hbase的存储形式 hbase的内部使用KeyValue的形式存在，其key是有rowkey:family:column:logTime，value是其存储的内容。 其在region的是大多以升序的形式排列，唯一的是logtime是以降序的形式进行排列。 所以，按照越靠近左边的信息越容易被检索 ...
分类：
其他好文 时间：
2018-12-30 20:30:19
阅读次数：
159
为什么需要sequenceId? HBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。那两个地方的同一份数据需不需要一种机制将两者关联起来?有的朋友要问为什么需要关联这两者，那笔者这里提出三个相关问题： 1. Memstore中的 ...
分类：
其他好文 时间：
2018-12-29 23:29:21
阅读次数：
204
为什么需要sequenceId?HBase数据在写入的时候首先追加写入HLog，再写入Memstore，也就是说一份数据会以两种不同的形式存在于两个地方。那两个地方的同一份数据需不需要一种机制将两者关联起来?有的朋友要问为什么需要关联这两者，那笔者这里提出三个相关问题：Memstore中的数据flush到HDFS文件中后HLog对应的数据是不是就可以被删除了?不然HLog会无限增长!那问题来了，M
分类：
其他好文 时间：
2018-12-29 23:06:42
阅读次数：
162
HBase上RegionServer的cache主要分为两个部分，分别是memstore&blockcache，其中memstore主要用于写缓存，而blockcache用于读缓存。 当数据写入hbase时，会先写入memstore，RegionServer会给每个region提供一个memstor ...
分类：
系统相关 时间：
2018-12-28 22:10:19
阅读次数：
231
java.lang.RuntimeException: HRegionServer Aborted 当我们启动hbase集群的时候，刚启动时每个节点上的进程都显示正常，过一会其他两个节点上的HRegionServer自动挂掉 查看日志，报以上错误。 重新启动，马上又挂掉，想起刚刚添加了一个Copro ...
分类：
编程语言 时间：
2018-12-27 20:22:21
阅读次数：
243
随着互联网的高速发展，数据量爆发式增长的同时，数据的存储形式也开始呈现出多样性，有结构化存储，如 Mysql, Oracle, SQLServer 等，半结构化甚至非结构化存储，如HBase，OSS 等。
分类：
其他好文 时间：
2018-12-27 18:47:10
阅读次数：
141
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 在windows环境使用Zookeeper时，需 ...
一：开发调优 原则1：对多次使用的RDD进行持久化，共享同一个RDD 原则2：经过filter算子过后使用coalesce优化分区数量。分区少并且数据量大是通过repartition重分区增大并发。 原则3：读取hbase或插入数据库时使用foreachPartition代替foreach并且使用批 ...
分类：
其他好文 时间：
2018-12-27 00:28:43
阅读次数：
164
Scan是操作Hbase中非常常用的一个操作，虽然前面的Hbase API操作简单的介绍了Scan的操作，但不够详细，由于Scan非常常用，关于其详细的整理也是很有必要的。 Scan HBase中的数据表通过划分成一个个的Region来实现数据的分片，每一个Region关联一个RowKey的范围区间 ...
分类：
其他好文 时间：
2018-12-26 20:14:02
阅读次数：
175
NoSQL一词最早出现在1998年。2009年Last.fm的Johan Oskarsson发起了一次关于分布式开源数据库的讨论，来自Rackspace的Eric Evans再次提出了NoSQL概念，这时的NoSQL主要是指非关系型、分布式、不提供数据库设计模式。
分类：
数据库 时间：
2018-12-26 15:46:14
阅读次数：
187
