EROR: Version file does not exist in root dir hdfs://XXXXXXX:8020/tmp/hbase-hbase/hbase 出错原因是hbck在gateway执行的,gateway的配置与hmaster的不一致,在hmaster执行hbck并无不一 ...
分类:
其他好文 时间:
2020-01-12 13:48:15
阅读次数:
170
1 解压软件包 2 copy server包到对应节点 3 scp /mnt/software/phoenix-4.14.1-cdh5.16.1-server.jar hadoop002:/opt/cloudera/parcels/CDH/lib/hbase/lib/ 4 添加配置 <propert ...
分类:
其他好文 时间:
2020-01-12 13:34:10
阅读次数:
105
cat /etc/passwd | grep hbase hbase:x:980:990:HBase:/var/lib/hbase:/bin/false 修改一下用户权限 usermod -s /bin/bash hbase ...
分类:
其他好文 时间:
2020-01-12 13:22:40
阅读次数:
89
HBase表模式的设计 对于HBase表,在设计表结构之前,我们需要先考虑的几个问题: 这个表应该有多少个列族? 列族使用的是什么数据? 每个列族应该有多少列? 列名应该是什么?尽管列名不必在建表的时候定义,但是后期读写数据时是需要知道的。 单元存放什么数据? 每个单元存储多少个时间版本? 行健结构 ...
分类:
其他好文 时间:
2020-01-11 16:56:56
阅读次数:
108
首先先简单介绍一下本文的代码,主要是通过前后台的交互,读取excel中的数据存入到数据库中。(另有关于sheet为空,sheet中某行某列数据为空跟数据库中对应字段不能为空而导致的不能存入的判断等方法的思路)。 1. 本文针对的是1个或多个sheet的情况 2. 默认每个sheet第一行存放的是对应 ...
分类:
数据库 时间:
2020-01-11 11:50:03
阅读次数:
113
NoSQL,Not Only SQL,不仅仅是SQL,泛指非关系型数据库,基于键值对的,不需要经过SQL层的解析,数据之间没有耦合性,性能高。 非关系型数据库细分如下: 键值存储数据库:Redis、Voldemort、Oracle BDB; 列表存储数据库:Cassandra、HBase、Riak; ...
分类:
数据库 时间:
2020-01-11 09:30:11
阅读次数:
108
HBase Snapshots允许你对一个表进行快照(即可用副本),它不会对Region Servers产生很大的影响,它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能 1.开启快照支持功能,在0 ...
分类:
其他好文 时间:
2020-01-10 16:00:21
阅读次数:
136
https://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/util/MurmurHash.html https://github.com/spaolacci/murmur3https://github.com/google/guava/b ...
HBase简介对大数据领域有一定了解的小伙伴对HBase应该不会陌生,HBase是Apache基金会开源的一个分布式非关系型数据库,属于Hadoop的组件。它使用Java编写,需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样,可以运行在廉价硬件上,并可提供数10亿行X数百万列的大数据存储、管理能力,以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigt
分类:
其他好文 时间:
2020-01-09 01:19:12
阅读次数:
108
NoSQL 学名(not only sql) 特点: 存储结构与mysql这一种关系型数据库完全不同,nosql存储的是KV形式 nosql有很多产品,都有自己的api和语法,以及业务场景 产品种类: Mongodb redis Hbase hadoop Nosql和sql的区别 应用场景不同,sq ...
分类:
其他好文 时间:
2020-01-08 20:50:29
阅读次数:
99