hyperbase官方简介： Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。 个人总结： hyperbase是基于开源hbase+hive的 ...
分类：
其他好文 时间：
2020-04-20 16:12:19
阅读次数：
280
1.Hive的基本数据类型 由上表可以看出，Hive不支持日期类型，在Hive里日期都是字符串来标识的，而常用的日期格式转化操作则是通过自定义函数进行操作； Hive是用java开发的，Hive里的基本数据类型和java的基本数据类型也是一一对应的，除了String类型；有符号的整数类型：TINYI ...
分类：
其他好文 时间：
2020-04-20 14:07:13
阅读次数：
74
1.下载 下载地址:http://mirror.bit.edu.cn/apache/hive/ 2.上传并解压 tar -zxvf /usr/localhost/apache-hive-2.3.6-bin.tar.gz 3.将解压的目录重命名为hive mv apache-hive-2.3.6-bi ...
分类：
其他好文 时间：
2020-04-20 11:58:24
阅读次数：
52
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapRe ...
分类：
其他好文 时间：
2020-04-19 19:49:32
阅读次数：
86
1.环境准备 虚拟机配置 ：1C ：2G以上 ：20G 系统环境 2.安装GitLab "国内清华源" 3.配置CitLab 修改配置文件 重新配置 重启 gitlab gitlab常用管理命令 浏览器访问 修改密码后使用root账号登录 原博客地址：庐州书院 ...
分类：
其他好文 时间：
2020-04-19 19:47:05
阅读次数：
133
表数据如下 select * from business; business.name business.orderdate business.cost jack 2017-01-01 10 tony 2017-01-02 15 jack 2017-02-03 23 tony 2017-01-04 ...
分类：
其他好文 时间：
2020-04-19 19:32:42
阅读次数：
61
小文件问题原因： ① 众所周知，小文件在HDFS中存储本身就会占用过多的内存空间，那么对于MR查询过程中过多的小文件又会造成启动过多的Mapper Task, 每个Mapper都是一个后台线程，会占用JVM的空间。 ② 在Hive中，动态分区会造成在插入数据过程中，生成过多零碎的小文件。 ③ 不合理 ...
分类：
其他好文 时间：
2020-04-19 13:17:44
阅读次数：
89
hive -e ' use bd; set hive.exec.max.dynamic.partitions.pernode=100; set hive.exec.dynamici.partition=true; set hive.exec.dynamic.partition.mode=nonstr ...
分类：
其他好文 时间：
2020-04-16 22:38:02
阅读次数：
109
1.行转列（多行变一行，聚合） 表数据 select * from student; student.id student.name 4 fuqiang 5 minzhu 6 hexie collect_set()函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生 array 类型 ...
分类：
其他好文 时间：
2020-04-16 22:31:27
阅读次数：
68
