问题：列族中列名的数量不固定，随时变化问题分析：这种情况，在hive中提前做好映射是不可能的；解决：可以用hive中的map映射案例：hbase中建表：create 'user_profile','cf'hive建表：CREATE EXTERNAL TABLE user_profile ( user... ...
分类：
其他好文 时间：
2020-01-15 19:49:40
阅读次数：
85
持久化的作用 什么是持久化 redis所有的数据保存在内存中，对数据的更新将异步地保存到磁盘上。 持久化的实现方式 快照 mysql dump redis RDB 写日志 Mysql Binlog Hbase HLog Redis AOF RDB 什么是RDB 快照 备份 主从复制 触发机制-主要三 ...
分类：
其他好文 时间：
2020-01-14 12:57:17
阅读次数：
97
[TOC] 1 目的 记录Spark集群框架搭建及实验自学心得。 2 准备工作 1. "VMware 15 Pro" 2. "Centos7" 3. "JDK 1.8" 4. "Hadoop 2.7.2" 5. "SecureCRT version 8.5" 6. "Scala 2.12.7" 7. ...
分类：
其他好文 时间：
2020-01-13 20:16:53
阅读次数：
106
1. HBase连接的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成H ...
分类：
其他好文 时间：
2020-01-13 12:28:18
阅读次数：
99
EROR: Version file does not exist in root dir hdfs://XXXXXXX:8020/tmp/hbase-hbase/hbase 出错原因是hbck在gateway执行的，gateway的配置与hmaster的不一致，在hmaster执行hbck并无不一 ...
分类：
其他好文 时间：
2020-01-12 13:48:15
阅读次数：
170
1 解压软件包 2 copy server包到对应节点 3 scp /mnt/software/phoenix-4.14.1-cdh5.16.1-server.jar hadoop002:/opt/cloudera/parcels/CDH/lib/hbase/lib/ 4 添加配置 <propert ...
分类：
其他好文 时间：
2020-01-12 13:34:10
阅读次数：
105
cat /etc/passwd | grep hbase hbase:x:980:990:HBase:/var/lib/hbase:/bin/false 修改一下用户权限 usermod -s /bin/bash hbase ...
分类：
其他好文 时间：
2020-01-12 13:22:40
阅读次数：
89
HBase表模式的设计 对于HBase表，在设计表结构之前，我们需要先考虑的几个问题： 这个表应该有多少个列族？ 列族使用的是什么数据？ 每个列族应该有多少列？ 列名应该是什么？尽管列名不必在建表的时候定义，但是后期读写数据时是需要知道的。 单元存放什么数据？ 每个单元存储多少个时间版本？ 行健结构 ...
分类：
其他好文 时间：
2020-01-11 16:56:56
阅读次数：
108
NoSQL，Not Only SQL，不仅仅是SQL，泛指非关系型数据库，基于键值对的，不需要经过SQL层的解析，数据之间没有耦合性，性能高。 非关系型数据库细分如下： 键值存储数据库：Redis、Voldemort、Oracle BDB； 列表存储数据库：Cassandra、HBase、Riak； ...
分类：
数据库 时间：
2020-01-11 09:30:11
阅读次数：
108
HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能 1.开启快照支持功能，在0 ...
分类：
其他好文 时间：
2020-01-10 16:00:21
阅读次数：
136
