常规的： 1、过早的过滤字段、只选用需要的列、要加分区 2、join 小表放左边 set hive.exec.reducers.max=200; set mapred.reduce.tasks= 200; 增大Reduce个数 set hive.groupby.mapaggr.checkinterv ...
分类：
数据库 时间：
2020-06-22 15:34:57
阅读次数：
75
1. 查看文件编码格式 file -i filename 其中 charset=iso-8859-1 就是ansi的文件格式 如何转化为 UTF-8 iconv -f ansi -t utf8 xxxx.csv -o xxxx2.csv 转化后就变为正常显示. 可用于导HIVE前文件格式的转换 ...
分类：
系统相关 时间：
2020-06-22 13:09:10
阅读次数：
102
一、环境信息 CentOS Linux release 8.1.1911 (Core) Redis server v=5.0.3 二、yum方式安装 1、添加EPEL仓库 sudo yum install epel-release 2、更新 sudo dnf update 3、使用 CentOS 8 ...
分类：
数据库 时间：
2020-06-22 12:41:55
阅读次数：
65
Hive数据查询详解 一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 e ...
分类：
其他好文 时间：
2020-06-22 01:58:21
阅读次数：
87
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
探索性数据分析——Profiling 可以快速预览数据 导入包： import pandas as pd import pandas_profiling 导入数据： data=pd.read_csv("model.csv") 或者hive_query 输出报告： pandas_profiling.P ...
分类：
其他好文 时间：
2020-06-21 23:21:42
阅读次数：
41
语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 1.row_number() over()排序功能 分组排序： 已有表 E E E 9 C E A 5 B B E 8 D D C 6 E A B 6 C B D 10 C E C 4 ...
分类：
编程语言 时间：
2020-06-21 17:53:04
阅读次数：
89
Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找， ...
分类：
其他好文 时间：
2020-06-21 16:22:24
阅读次数：
55
Hive常用DDL操作 一、Database 1.1 查看数据列表 show databases; 1.2 使用数据库 USE database_name; 1.3 新建数据库 语法： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name -- ...
分类：
其他好文 时间：
2020-06-21 16:17:19
阅读次数：
47
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-06-21 13:51:48
阅读次数：
57
