import xlrd def read_excel(): #打开文件 sheet = xlrd.open_workbook(r"D:\jiekou\dataconfig\case1.xls") #获取所有sheet print(sheet.sheet_names()) sheet2_name = ...
分类：
其他好文 时间：
2020-04-21 16:53:21
阅读次数：
86
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍； TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类：
其他好文 时间：
2020-04-21 11:23:59
阅读次数：
139
1. ranger-hdfs plugin安装 1.1 安装ranger hdfs plugin软件包 # pwd /opt/app/ranger-release-ranger-1.2.0/target # tar -zxvf ranger-1.2.0-hdfs-plugin.tar.gz 1.2 ...
分类：
其他好文 时间：
2020-04-20 16:24:01
阅读次数：
169
hyperbase官方简介： Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。 个人总结： hyperbase是基于开源hbase+hive的 ...
分类：
其他好文 时间：
2020-04-20 16:12:19
阅读次数：
280
1.Hive的基本数据类型 由上表可以看出，Hive不支持日期类型，在Hive里日期都是字符串来标识的，而常用的日期格式转化操作则是通过自定义函数进行操作； Hive是用java开发的，Hive里的基本数据类型和java的基本数据类型也是一一对应的，除了String类型；有符号的整数类型：TINYI ...
分类：
其他好文 时间：
2020-04-20 14:07:13
阅读次数：
74
1.下载 下载地址:http://mirror.bit.edu.cn/apache/hive/ 2.上传并解压 tar -zxvf /usr/localhost/apache-hive-2.3.6-bin.tar.gz 3.将解压的目录重命名为hive mv apache-hive-2.3.6-bi ...
分类：
其他好文 时间：
2020-04-20 11:58:24
阅读次数：
52
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapRe ...
分类：
其他好文 时间：
2020-04-19 19:49:32
阅读次数：
86
1.环境准备 虚拟机配置 ：1C ：2G以上 ：20G 系统环境 2.安装GitLab "国内清华源" 3.配置CitLab 修改配置文件 重新配置 重启 gitlab gitlab常用管理命令 浏览器访问 修改密码后使用root账号登录 原博客地址：庐州书院 ...
分类：
其他好文 时间：
2020-04-19 19:47:05
阅读次数：
133
表数据如下 select * from business; business.name business.orderdate business.cost jack 2017-01-01 10 tony 2017-01-02 15 jack 2017-02-03 23 tony 2017-01-04 ...
分类：
其他好文 时间：
2020-04-19 19:32:42
阅读次数：
61
小文件问题原因： ① 众所周知，小文件在HDFS中存储本身就会占用过多的内存空间，那么对于MR查询过程中过多的小文件又会造成启动过多的Mapper Task, 每个Mapper都是一个后台线程，会占用JVM的空间。 ② 在Hive中，动态分区会造成在插入数据过程中，生成过多零碎的小文件。 ③ 不合理 ...
分类：
其他好文 时间：
2020-04-19 13:17:44
阅读次数：
89
