深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus、GELU 2019-05-06 17:56:43 wamg潇潇 阅读数 652更多 分类专栏： python机器学习 深度学习 深度学习的激活函数 ：sigmoid、t ...
分类：
其他好文 时间：
2019-11-18 18:41:48
阅读次数：
344
1、回归是达尔文表弟发现的，就是说人类总体有一个平均身高。那个高个子生的孩子都个高，矮的孩子生的矮。但是他们的下一代大部分都往平均身高长，也就是说特别高的人，他们的孩子会很高，但是往往比他们自己矮。特别矮的人他们生的孩子会矮一些，但是会比自己的父母高，他们都有这种趋势。表弟管这个叫做回归。 2、一元 ...
分类：
其他好文 时间：
2019-11-17 01:55:43
阅读次数：
95
<! TOC "正向传播" "反向传播" "训练深度学习模型" "小结" <! /TOC 前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自 ...
分类：
其他好文 时间：
2019-11-16 12:58:18
阅读次数：
68
参考资料：梯度下降优化算法总结(必看！！！！！！！) 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 我们使用梯度下降法 ...
分类：
编程语言 时间：
2019-11-13 22:30:05
阅读次数：
144
梯度下降法及一元线性回归的python实现 一、梯度下降法形象解释 设想我们处在一座山的半山腰的位置，现在我们需要找到一条最快的下山路径，请问应该怎么走？根据生活经验，我们会用一种十分贪心的策略，即在现在所处的位置上找到一个能够保证我们下山最快的方向，然后向着该方向行走；每到一个新位置，重复地应用上 ...
分类：
编程语言 时间：
2019-11-12 00:51:12
阅读次数：
209
首先强调一下，这篇文章适合有很好的基础的人 梯度下降 这里不系统讲，只介绍相关的点，便于理解后文 先放一个很早以前写的 梯度下降 实现 logistic regression 的代码 def tiduxiajiang(): """梯度下降算法""" alpha=0.000001 # 学习率的确定方法 ...
分类：
其他好文 时间：
2019-11-11 12:31:26
阅读次数：
118
线性回归之梯度下降法 1.梯度的概念 梯度是一个向量，对于一个多元函数$f$而言，$f$在点$P(x,y)$的梯度是$f$在点$P$处增大最快的方向，即以f在P上的偏导数为分量的向量。以二元函数$f(x,y)$为例，向量$\{\frac{\partial f}{\partial x},\frac{\ ...
分类：
编程语言 时间：
2019-11-07 23:24:10
阅读次数：
112
引入动量（Momentum）方法一方面是为了解决“峡谷”和“鞍点”问题；一方面也可以用于SGD 加速，特别是针对高曲率、小幅但是方向一致的梯度。 如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开 ...
分类：
编程语言 时间：
2019-11-05 01:20:26
阅读次数：
220
我是一个地地道道的技术人员，今天不跟大家讲复杂的数学原理，其实从图像就可以看出来一些蛛丝马迹，X是呱呱坠地的我们，W是指引我们前进的方向，B是我们生活的压力值，Func会根据W和B显示我们的轨迹，然而轨迹的平缓程度与好多复杂的因素有关，Y是我们的终点 很明显X,Y我们没办法控制，W和B的初始值也是随 ...
分类：
其他好文 时间：
2019-11-02 11:45:30
阅读次数：
80
Neural Turing Machine 神经图灵机 论文原文地址： "http://arxiv.org/pdf/1410.5401.pdf" 一般的神经网络不具有记忆功能，输出的结果只基于当前的输入；而LSTM网络的出现则让网络有了记忆：能够根据之前的输入给出当前的输出。但是，LSTM的记忆程度 ...
分类：
系统相关 时间：
2019-10-30 18:09:02
阅读次数：
97
