Hive的优化策略大致分为：配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数据倾斜解决方案。 回答的时候需要，需要准确的说出具体的配置参数，准确的说出具体的配置参数，这是一个深刻的教训。 配置优化 1-Fetch抓取配置 Fetch抓取是指，Hive中对某些情况 ...
分类：
其他好文 时间：
2019-12-14 15:44:09
阅读次数：
109
Hive动态分区参数配置 往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 使用动态分区表必须配置的 ...
分类：
其他好文 时间：
2019-12-14 15:37:11
阅读次数：
104
摘要： 2018年1月10日，MaxCompute禁止Full Scan功能开放。对于新创建的project默认情况下执行sql时，针对该project里的分区表不允许全表扫描，必须有分区条件指定需要扫描的分区。 点此查看原文：http://click.aliyun.com/m/41850/ [发布 ...
分类：
其他好文 时间：
2019-12-13 12:15:53
阅读次数：
84
由于SQL Server不常用，所以这里只针对MySQL数据库和Oracle数据库的区别 (1) 对事务的提交 MySQL默认是自动提交，而Oracle默认不自动提交，需要用户手动提交，需要在写commit;指令或者点击commit按钮(2) 分页查询 MySQL是直接在SQL语句中写"select ...
分类：
数据库 时间：
2019-12-13 00:14:23
阅读次数：
95
原文:超大数据库的备份和恢复问题：分区表、文件组备份、部分还原 use mastergo... ...
分类：
数据库 时间：
2019-12-11 00:22:30
阅读次数：
98
parted分区命令 1、分区表区别 我们 Linux 系统中有两种常见的分区表 MBR 分区表（主引导记录分区表）和 GPT 分区表（GUID 分 区表） MBR 分区表：支持的最大分区是 2TB（1TB=1024GB）；最多支持 4 个主分区，或 3 个主分区 1 个扩展分区 GPT 分区表：支 ...
分类：
其他好文 时间：
2019-12-04 01:49:45
阅读次数：
130
Linux磁盘表示方式 Linux以字母标识磁盘的个数 a:第一块 b:第二块 Linux用数字标识分区:1-4标识主分区或扩展分区 逻辑分区从5开始 例如：sda、sda1、sda2 低级格式化:划分磁道 高级格式化:为分区装载文件系统 文件系统:内核功能（FAT32 NTFS EXT2 EXT3 ...
分类：
其他好文 时间：
2019-11-27 12:23:56
阅读次数：
77
目的，有一个清理数据的需求，需要删除历史的一个分区所有记录信息，但是存在主键global索引,如何更好的维护。 如下测试流程一 提前创建好一个已时间created 字段作为分区键的范围分区表 ...
分类：
其他好文 时间：
2019-11-25 20:29:30
阅读次数：
128
用过诸多种云以后，发现有个通病，就是新买的数据盘在机器中找不到。本篇总结一下此类问题的解决方法，望各位点赞，有问题评论区见 一、云服务和物理机一样，你买了云服务器的数据盘以后，就相当于把数据盘直接安装硬盘到物理机上。 二、查看硬盘是否正确安装。 使用“fdisk -l”命令查看硬盘代号。 root@ ...
分类：
系统相关 时间：
2019-11-25 13:28:08
阅读次数：
130
VMware虚拟机设备信息:1、VMware虚拟机（数量：40-50组;占用空间:1.8TB）2、VMware虚拟机——ESXSERVER共享一台IBMDS4100存储VMware虚拟机故障描述：工作人员在使用过程当中，由于vc里报告虚拟磁盘丢失，通过ssh到ESX中执行fdisk-l查看磁盘，storage已经无分区表。经过重启所有设备后，ESXSERVER均无法连接到DS4100所在的STOR
分类：
系统相关 时间：
2019-11-21 14:05:03
阅读次数：
405
