问题：列族中列名的数量不固定，随时变化问题分析：这种情况，在hive中提前做好映射是不可能的；解决：可以用hive中的map映射案例：hbase中建表：create 'user_profile','cf'hive建表：CREATE EXTERNAL TABLE user_profile ( user... ...
分类：
其他好文 时间：
2020-01-15 19:49:40
阅读次数：
85
需求：需要将String类型的数据转换成number，输入到数据库表中前景：文本文件中有大量的number数据，但是有一些数据不是number。而是字符串'null'读取数据的时候报错：Couldn't parse field [Number(25)] with value [null], form ...
分类：
其他好文 时间：
2020-01-14 16:19:27
阅读次数：
198
持久化的作用 什么是持久化 redis所有的数据保存在内存中，对数据的更新将异步地保存到磁盘上。 持久化的实现方式 快照 mysql dump redis RDB 写日志 Mysql Binlog Hbase HLog Redis AOF RDB 什么是RDB 快照 备份 主从复制 触发机制-主要三 ...
分类：
其他好文 时间：
2020-01-14 12:57:17
阅读次数：
97
[TOC] 1 目的 记录Spark集群框架搭建及实验自学心得。 2 准备工作 1. "VMware 15 Pro" 2. "Centos7" 3. "JDK 1.8" 4. "Hadoop 2.7.2" 5. "SecureCRT version 8.5" 6. "Scala 2.12.7" 7. ...
分类：
其他好文 时间：
2020-01-13 20:16:53
阅读次数：
106
1. HBase连接的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成H ...
分类：
其他好文 时间：
2020-01-13 12:28:18
阅读次数：
99
EROR: Version file does not exist in root dir hdfs://XXXXXXX:8020/tmp/hbase-hbase/hbase 出错原因是hbck在gateway执行的，gateway的配置与hmaster的不一致，在hmaster执行hbck并无不一 ...
分类：
其他好文 时间：
2020-01-12 13:48:15
阅读次数：
170
1 解压软件包 2 copy server包到对应节点 3 scp /mnt/software/phoenix-4.14.1-cdh5.16.1-server.jar hadoop002:/opt/cloudera/parcels/CDH/lib/hbase/lib/ 4 添加配置 <propert ...
分类：
其他好文 时间：
2020-01-12 13:34:10
阅读次数：
105
cat /etc/passwd | grep hbase hbase:x:980:990:HBase:/var/lib/hbase:/bin/false 修改一下用户权限 usermod -s /bin/bash hbase ...
分类：
其他好文 时间：
2020-01-12 13:22:40
阅读次数：
89
HBase表模式的设计 对于HBase表，在设计表结构之前，我们需要先考虑的几个问题： 这个表应该有多少个列族？ 列族使用的是什么数据？ 每个列族应该有多少列？ 列名应该是什么？尽管列名不必在建表的时候定义，但是后期读写数据时是需要知道的。 单元存放什么数据？ 每个单元存储多少个时间版本？ 行健结构 ...
分类：
其他好文 时间：
2020-01-11 16:56:56
阅读次数：
108
一、kettle是什么？ Kettle，简称ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定，对于企业或行业应用来说，我们经常会遇到各 ...
分类：
其他好文 时间：
2020-01-11 11:48:10
阅读次数：
183
