一、概述 将数据以parquet模式写入到hive的分区表中时,底层源码有个错误,在进行分割字段判断时,没有引用已传入字符,多了一个“=”;该错误在hive的client中也会碰到 错误原因是底层分割符引用错误, 二、解决方法 从https://github.com/apache/parquet-m ...
分类:
其他好文 时间:
2020-07-13 21:24:30
阅读次数:
75
介绍 本文主要记录笔者在使用Python制作条形图中的一些脚本。 代码 # 导入数据 import pandas as pd df = pd.read_excel('demo.xlsx', header=0, sheet_name='Sheet1') df.head() # 导入相关包 import ...
分类:
编程语言 时间:
2020-07-13 12:08:30
阅读次数:
65
Hive是个啥? 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据,避免MapReduce程序分析数据 2.数据存储在HDFS上,不是HIVE上 3.Hive将数据映射成数据库和一张张表,库和表的元数据信息一般存在关系型数据库。 元数据:描述数 ...
分类:
其他好文 时间:
2020-07-13 12:07:13
阅读次数:
73
CDH中hive报端口被占用,经排查并进行以下操作后恢复正常。 通过查看hive日志可用发现10000端口已经被占用,通过命令行可用查找出被占用端口的相应进程;将被占用端口的进程删掉(kill 187393)后,重启hive即恢复正常 ...
分类:
其他好文 时间:
2020-07-13 11:17:25
阅读次数:
62
容器是一种清理级、可移植、自包含的软件打包技术,使应用程序可以在几乎任何地方以相同的方式运行。 ...
分类:
其他好文 时间:
2020-07-13 09:43:45
阅读次数:
68
背景 Redis是基于内存的KV数据库,内存作为存储介质,关注其内存的使用情况是一个重要指标,解析其内部的存储信息是给出优化方法和维护的最基本要求。解析内存有二种方法:第一个是通过scan遍历所有key,针对每个key进行分析(memory usage);第二个是基于RDB文件进行所有key的分析( ...
分类:
数据库 时间:
2020-07-11 10:05:03
阅读次数:
64
1. 非压缩 archive_command = 'cp %p /appdata/pgsql/pg_wal/%f && echo %f >> /appdata/pgsql/pg_wal/archive.list' restore_command = 'cp /appdata/pgsql/pg_wal ...
分类:
数据库 时间:
2020-07-11 10:04:36
阅读次数:
146
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS,查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源,存储资源,实现并行计算 Hive支持标准的SQL语法,免去了编写 ...
分类:
其他好文 时间:
2020-07-10 19:33:44
阅读次数:
77
hive mysql count distinct 多列 解释链接-mysql采坑之count distinct多列 不能使用算术比较运算符(如=,<或<>)来比较空值 COUNT(distinct expr)返回expr列中不同的且非空的行数 COUNT()有两个非常不同的作用:它可以统计某个列值 ...
分类:
数据库 时间:
2020-07-10 15:25:56
阅读次数:
116
需求背景 项目需要对接大数据平台,定时更新相关的统计数据 version SpringBoot: 2.2.4.RELEASE MySQL: 5.5.4 Quartz: 2.3.0 实现 导入数据库表 因为Quartz 集群依赖于数据库,所以必须首先创建Quartz数据库表。Quartz 包括了所有被 ...
分类:
编程语言 时间:
2020-07-10 15:14:54
阅读次数:
97