大数据技术之Azkaban 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作 ...
分类：
其他好文 时间：
2019-07-26 09:15:11
阅读次数：
265
1.找到自己的Oracle12C安装目录，一般的安装目录为D:\app\u01\product\12.1.0\dbhome_1\deinstall ，双击deintall.dat文件进行卸载。 2.耐心等待一段时间。出现下面的内容后输入回车。 3.按回车键出现下面的内容，这里有的人可能会因人而异，总 ...
分类：
数据库 时间：
2019-07-24 22:27:55
阅读次数：
163
Overview Optimizer模块所处在的位置如图， 那么做optimize的目的是， 找出所有‘correct’执行计划中‘cost’最低的 那么这里首先要明确的概念，‘correct’，关系代数等价，产生相同的结果集；所以所有优化的前提是需要是等价变换 但是等价集合，即所有等价的执行计划的 ...
分类：
数据库 时间：
2019-07-22 18:08:45
阅读次数：
136
资源准备需要下载oracle相关的东东，例如安装文件，dockerfile。这些都可以从oracle的github上面找到。https://github.com/oracle/docker-images/tree/master/OracleDatabase下载完成以后，新建一个目录，我这里是/oracle12c，把dockerfile（其实是一个shell脚本buildDockerImage.sh
分类：
数据库 时间：
2019-07-21 01:42:49
阅读次数：
229
1.先安装的oracle12C，创建了oracle主目录用户admin，其中主目录用户为admin，口令为123456。 2.其次创建监听，再创建数据库实例。 3.全局数据库名称为orcl.lan，管理口令为Qaz123456。创建的可插入数据库名称为zll ...
分类：
数据库 时间：
2019-07-12 16:59:31
阅读次数：
136
1、EXPLAIN 做MySQL优化，我们要善用EXPLAIN查看SQL执行计划。 type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。 key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式。 key_len列，索引长度。 rows列，扫描 ...
分类：
数据库 时间：
2019-07-09 13:39:15
阅读次数：
135
一。什么是数据库执行计划： MySQL执行计划是sql语句经过查询优化器后，查询优化器会根据用户的sql语句所包含的字段和内容数量等统计信息，选择出一个执行效率最优（MySQL系统认为最优）的执行计划，然后根据执行计划，调用存储引擎提供的接口，获取数据。执行计划，简单的来说，是SQL在数据库中执行时 ...
分类：
数据库 时间：
2019-07-08 23:51:03
阅读次数：
145
MySQL数据库调优 定位慢查询得到生产环境那些sql语句响应慢，根据执行计划进行分析调优事物管理索引结构（B+树）平衡二叉树、B树、B+树分库分表后，如何解决查询 使用第三方数据库中间件（MyCat、Sharding-JDBC) 什么使用RedisSpring IOC原理 Logstash与MQ实 ...
分类：
编程语言 时间：
2019-07-08 10:50:58
阅读次数：
136
explain 通过explain查看sql执行计划 SQL中in包含的值不宜过多 mysql对in做了相应的优化，即将in中的常量全部存储到一个数组里，而且这个数组是排好序的。但是如果值过多，产生的消耗也是较大的。 优化后 select语句务必要指明字段名称 select * 增加很多不必要的消耗 ...
分类：
数据库 时间：
2019-07-07 14:54:27
阅读次数：
131
