数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而导致整个job执行时间较长。在hive中执行的sql会有map和reduce两个阶段，map阶段的数据倾斜主要为数据从磁盘读入内存时、join，reduce阶段数据倾斜主要有join、groupby、
分类：
其他好文 时间：
2019-04-15 19:41:06
阅读次数：
257
一。读写Parquet(DataFrame) Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。 Parquet是一种 ...
分类：
其他好文 时间：
2019-04-13 10:47:33
阅读次数：
461
LAMP 搭建 [TOC] 1：CentOS 7, lamp (module)； (1) 三者分离于两台主机 (2) 一个虚拟主机提供phpMyAdmin；另一个虚拟主机提供wordpress (3) xcache (4) 为phpMyAdmin提供https虚拟主机 http + php + ph ...
分类：
其他好文 时间：
2019-04-13 01:11:12
阅读次数：
137
一.?nosql(非关系性数据库): mongoDB hbase redis nulch hive pig mahout zookeeper 二：redis 数据类型 1.存储string: 常用命令： 设置/取值： set key value get key getset key value de ...
分类：
其他好文 时间：
2019-04-13 00:52:24
阅读次数：
149
并发控制 在计算机科学，特别是程序设计、操作系统、多处理机和数据库等领域，并发控制（Concurrency control）是确保及时纠正由并发操作导致的错误的一种机制。 数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一 ...
分类：
数据库 时间：
2019-04-12 19:10:56
阅读次数：
189
SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新 ...
分类：
其他好文 时间：
2019-04-12 13:26:13
阅读次数：
181
1.Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。 2.Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以 ...
分类：
数据库 时间：
2019-04-12 10:29:18
阅读次数：
238
创建 在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口，创建DataFrame有三种方式：通过Spark的数据源进行创建；从一个存在的RDD进行转换；还可以从Hive Table进行查询返回。 读取json文件创建DataFrame 注意：普通临时view是S ...
分类：
数据库 时间：
2019-04-11 14:33:27
阅读次数：
183
一、Hive测试 1.查看数据库 show databases; 2.使用某个数据库，如默认数据库 user default; 3.创建表 create table if not exist itstar(id int,name string); 4.插入数据 insert into table i ...
分类：
其他好文 时间：
2019-04-10 13:50:57
阅读次数：
137
1、首先根据alert跟踪日志发现归档空间满，路径大致如下：cd $ORACLE_BASE/diag/rdbms/jsswgsjk/jsswgsjk1/tracetail -f alert_jsswgsjk1.log 2、sqlplus 执行命令结果：--可以看出没有正确使用归档盘：+ARCH 3、 ...
分类：
数据库 时间：
2019-04-08 15:31:14
阅读次数：
154
