摘抄自https://tech.meituan.com/spark-tuning-pro.html 一、概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行 ...
分类：
其他好文 时间：
2018-04-26 21:04:23
阅读次数：
180
摘抄自：https://tech.meituan.com/spark-tuning-pro.html 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证 ...
分类：
其他好文 时间：
2018-04-25 20:10:42
阅读次数：
174
本文对Oracle11g中新特点ACS进行了详细的说明和讲解，记录一次，供各位同学及自己参考研究。 ...
分类：
数据库 时间：
2018-04-17 19:43:40
阅读次数：
181
本文说明了数据库性能优化中各方面因素的重要性，记录于此，供各位同学及自己参考研究。 ...
分类：
数据库 时间：
2018-04-14 14:01:07
阅读次数：
164
本文记录了一次SQL调优过程，记录于此，供各位同学你自己从参考研究。 ...
分类：
数据库 时间：
2018-04-14 13:54:27
阅读次数：
215
索引选择性就是结果个数与总个数的比值。 用sql语句表示为： SELECT COUNT(*) FROM table_name WHERE column_name/SELECT COUNT(*) FROM table_name 一般来说(例如书 “SQL Tuning“)，如果选择性超过 20% 那么 ...
分类：
数据库 时间：
2018-04-12 22:23:19
阅读次数：
204
本文记录了一次海量数据库快速大幅SQL调优的过程，记录于此，供各位同学及自己参考研究。 ...
分类：
数据库 时间：
2018-04-12 14:19:27
阅读次数：
165
一、Zero Shot learning ? 在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就 ...
分类：
其他好文 时间：
2018-04-03 14:21:35
阅读次数：
13164
执行包需要dbms_advisor权限： [sql] view plain copy sys@ORCL> grant advisor to u1; 授权成功。 [sql] view plain copy [sql] view plain copy 创建段顾问任务，指定create_task的advi ...
分类：
数据库 时间：
2018-03-28 01:28:07
阅读次数：
246
1、前言：一直以来SQL调优都是DBA比较费力的技术活，而且很多DBA如果没有从事过开发的工作，那么调优更是一项头疼的工作，即使是SQL调优很厉害的高手，在SQL调优的过程中也要不停的分析执行计划、加HINT、分析统计信息等等。从ORACLE 10G开始，数据库采取了很多智能化的管理工作，其中SQL ...
分类：
数据库 时间：
2018-03-27 23:58:00
阅读次数：
363
