1.函数说明 主要是配合over()窗口函数来使用的，通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序，有两个第二名时接下来就是第四名（同样是在各个分组内） 2. dense_rank() over()是连续排序，有两个第二 ...
分类：
其他好文 时间：
2020-09-11 16:15:16
阅读次数：
58
A #include <bits/stdc++.h> #define all(n) (n).begin(), (n).end() #define se second #define fi first #define pb push_back #define mp make_pair #define ...
分类：
其他好文 时间：
2020-09-11 16:00:21
阅读次数：
50
在hive内部有许多函数，如下： 内置运算符 关系运算符 算术运算符 逻辑运算符 复杂类型函数 内置函数内置聚合函数 数学函数 收集函数 类型转换函数 日期函数 条件函数 字符函数 内置聚合函数 内置表生成函数 1.1关系运算符 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <> ...
分类：
其他好文 时间：
2020-09-10 22:38:54
阅读次数：
41
1.hive本身对union这样的命令进行了优化 2.hdfs数据本地化率对hive性能产生影响 在数据大小一定的情况下，500个128M的文件和2个30G的文件 跑hive任务，性能是有差异的，两者最大的区别在于，后者在读取文件时，需要跨网络传输，而前者为本地读写。数据本地化率问题。 3.不同数据 ...
分类：
其他好文 时间：
2020-09-09 19:07:41
阅读次数：
34
这一篇我们看看经典又神奇的并查集，顾名思义就是并起来查，可用于处理一些不相交集合的秒杀。一：场景有时候我们会遇到这样的场景，比如:M={1,4,6,8},N={2,4,5,7}，我的需求就是判断{1,2}是否属于同一个集合，当然实现方法有很多，一般情况下，普通青年会做出O(MN)的复杂度，那么有没有更轻量级的复杂度呢？嘿嘿，并查集就是用来解决这个问题的。二：操作从名字可以看出，并查集其实只有两种操
分类：
编程语言 时间：
2020-09-09 18:58:40
阅读次数：
43
一、EXPLAIN 做MySQL优化，我们要善用EXPLAIN查看SQL执行计划。 下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 type列，连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别 key列，使用到的索引名。如果没有选择索引，值是NULL。可以 ...
分类：
数据库 时间：
2020-09-08 20:46:56
阅读次数：
49
Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类：
其他好文 时间：
2020-09-04 16:58:58
阅读次数：
42
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
一、Reading Confucius is respected by most Chinese as the greatest teacher of all time. Perhaps the most important word he taught was "ren," which means ...
分类：
其他好文 时间：
2020-08-31 13:28:53
阅读次数：
75
放弃本地修改，强制更新 git fetch --all git reset --hard origin/master 生成密钥： cd ~/.ssh/ ls #查看是否已经生成密钥 ssh-kengen -t rsa -C "account” #生成文件，然后一路回车 清空本地所有修改 git re ...
分类：
其他好文 时间：
2020-08-27 11:46:10
阅读次数：
49
