1.函数说明 主要是配合over()窗口函数来使用的,通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序,有两个第二名时接下来就是第四名(同样是在各个分组内) 2. dense_rank() over()是连续排序,有两个第二 ...
分类:
其他好文 时间:
2020-09-11 16:15:16
阅读次数:
58
org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Commun ...
分类:
数据库 时间:
2020-09-11 14:24:03
阅读次数:
57
在hive内部有许多函数,如下: 内置运算符 关系运算符 算术运算符 逻辑运算符 复杂类型函数 内置函数内置聚合函数 数学函数 收集函数 类型转换函数 日期函数 条件函数 字符函数 内置聚合函数 内置表生成函数 1.1关系运算符 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <> ...
分类:
其他好文 时间:
2020-09-10 22:38:54
阅读次数:
41
1.hive本身对union这样的命令进行了优化 2.hdfs数据本地化率对hive性能产生影响 在数据大小一定的情况下,500个128M的文件和2个30G的文件 跑hive任务,性能是有差异的,两者最大的区别在于,后者在读取文件时,需要跨网络传输,而前者为本地读写。数据本地化率问题。 3.不同数据 ...
分类:
其他好文 时间:
2020-09-09 19:07:41
阅读次数:
34
参考资料:猿天地 https://mp.weixin.qq.com/s/kp2lJHpTMz4bDWkJYjVbOQ 作者:尹吉欢 技术选型:SpringBoot + Sharding-JDBC + MyBatis 使用Sharding-JDBC配置读写分离,优点在于数据源完全有Sharding托管 ...
分类:
数据库 时间:
2020-09-09 19:05:46
阅读次数:
60
很多初学者刚开始学编程时,上来就只想着编码!编码!!编码!!!但你知道什么是编程吗?要知道:编码≠编程今天就为大家介绍一种快速上手的编程套路,在套路的基础上编码有如神助!img学过Java语法的童鞋都知道,虽然Java语法看起来这么多,总结起来就两种作用。一种是存储数据,另一种是操作数据。比如变量、数组、集合、文件操作、JDBC等,都属于数据存储相关的知识点,而选择语句、循环语句、多线程、反射等属
分类:
编程语言 时间:
2020-09-07 18:41:56
阅读次数:
91
很多初学者刚开始学编程时,上来就只想着编码!编码!!编码!!!但你知道什么是编程吗?要知道:编码≠编程今天就为大家介绍一种快速上手的编程套路,在套路的基础上编码有如神助!img学过Java语法的童鞋都知道,虽然Java语法看起来这么多,总结起来就两种作用。一种是存储数据,另一种是操作数据。比如变量、数组、集合、文件操作、JDBC等,都属于数据存储相关的知识点,而选择语句、循环语句、多线程、反射等属
分类:
编程语言 时间:
2020-09-07 18:41:40
阅读次数:
48
JDBC JDBC是什么? Java DataBase Connectivity(Java语言连接数据库) JDBC的本质是什么? JDBC是SUN公司制定的一套接口(interface) 接口都是有调用者和实践者。 面向接口调用、面向接口写实现类,这都属于面向接口编程。 为什么要面向接口编程? 解 ...
分类:
数据库 时间:
2020-09-04 17:24:26
阅读次数:
52
Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类:
其他好文 时间:
2020-09-04 16:58:58
阅读次数:
42