本文主要介绍SparkSQL的优化器系统Catalyst，其设计思路基本都来自于传统型数据库，而且和大多数当前的大数据SQL处理引擎设计基本相同（Impala、Presto、Hive（Calcite）等），因此通过本文的学习也可以基本了解所有其他SQL处理引擎的工作原理。 SQL优化器核心执行策略主 ...
分类：
数据库 时间：
2018-03-18 20:05:41
阅读次数：
356
测试数据 调用存储过程插入1000000万条数据 一、count 查询 添加 uid 索引后重新执行count查询 对比之后可以看到添加uid索引后，count查询 mysql优化器选择的是uid索引 使用force index强制使用索引，可以发现使用k_uid索引的效率要比使用主键索引要快的多。 ...
分类：
其他好文 时间：
2018-03-11 14:38:56
阅读次数：
184
如果对优化选择器的执行计划不满意，可以使用优化选择器提供的几个提示来控制最终的执行计划。可以用的提示如下所示： HIGH_PRIORITY和LOW_PRIORITY 这两个提示用于告诉Mysql，当多个语句的时候同时访问同一张表的时候，哪些语句的优先级高些，哪些语句的优先级低一些。 HIGH_PRI ...
分类：
其他好文 时间：
2018-03-11 11:45:49
阅读次数：
139
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0 ...
分类：
其他好文 时间：
2018-03-11 02:40:24
阅读次数：
701
优化器optimizers
优化器是编译Keras模型必要的两个参数之一
from keras import optimizers
model = Sequential()
model.add(Dense(64, kernel_initializer='uniform', input_shape... ...
分类：
其他好文 时间：
2018-03-10 22:05:27
阅读次数：
1699
TensorFlow训练神经网络的4个步骤： 1、定义算法公式，即训练神经网络的forward时的计算 2、定义损失函数和选择优化器来优化loss 3、训练步骤 4、对模型进行准确率评测 附Multi-Layer Perceptron代码： 1 from tensorflow.examples.tu ...
分类：
其他好文 时间：
2018-03-06 21:47:21
阅读次数：
147
一、简化前馈网络LeNet；二、优化器基本使用方法；三、网络模块参数定制；四、在训练中动态的调整学习率 ...
分类：
其他好文 时间：
2018-03-03 17:03:43
阅读次数：
416
一、结合实际，谈索引使用的误区 理论的目的是应用。虽然我们刚才列出了何时应使用聚集索引或非聚集索引，但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区，以便于大家掌握索引建立的方法。 1、主键就是聚集索引 这种想法笔者认为是极端 ...
分类：
数据库 时间：
2018-02-27 16:00:52
阅读次数：
167
深度学习与爬虫实例教学 声明 ：该教程不会直接贴代码，以免凌乱，你需要先下载项目代码（ "第一章" ）并结合来看，教程中会告诉你具体代码放在什么位置，以及作用，用法 深度学习实现验证码自动识别,爬虫自动认证防ban 我们将学习如何构建一个用于验证码识别的深度学习模型和结合爬虫进行构建一个项目 教学大 ...
分类：
其他好文 时间：
2018-02-23 19:04:06
阅读次数：
212
最近想来，大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地。相 ...
分类：
数据库 时间：
2018-02-21 11:41:39
阅读次数：
236
