1.牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。 收敛速度很快。 海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。 缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。 2.梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。 ...
分类：
其他好文 时间：
2020-04-12 16:58:07
阅读次数：
174
本周任务： 请确保熟悉并理解机器学习数学部分常用相关概念: 1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶 ...
分类：
其他好文 时间：
2020-04-12 00:14:12
阅读次数：
92
要理解Pytorch求解梯度，首先需要理解Pytorch当中的计算图的概念，在计算图当中每一个Variable都代表的一个节点，每一个节点就可以代表一个神经元，我们只有将变量放入节点当中才可以对节点当中的变量求解梯度，假设我们有一个矩阵： 1., 2., 3. 4., 5., 6. 我们将这个矩阵（ ...
分类：
其他好文 时间：
2020-04-11 13:21:45
阅读次数：
143
概率： 梯度： 个人理解，梯度可以理解为出现的现象中，该现象变化的一个度，官方解释就是一个一元函数变化的斜率，也就是它的导数，按照生活上的解释可以用汽车的加速度来表示，加速度反应出汽车在行驶的过程中，车速度的变化率，加速度正数那就是加速，加速度负数，那就是减速，梯度其实是一个向量，正负只能表明它的方 ...
分类：
其他好文 时间：
2020-04-09 20:18:51
阅读次数：
94
Harris 角点定义为一个邻域内存在两个正交方向上梯度变化较大的点。 作 xy 平面上的二维函数，使用自相关函数可描述图像上一固定点在任意方向上的灰度变化；然后利用泰勒级数展开自相关函数，即可将其转换为矩阵特征值问题（参考博文 "光流跟踪"）。 在某些应用中（如视觉测量），想获得更加精确的角点定位 ...
分类：
其他好文 时间：
2020-04-09 16:49:19
阅读次数：
145
1.学习记录 2、用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”， 梯度：在指定方向每单位距离的数值变化 梯度下降：简单来说就是解决一个问题的时候，寻找他的最优解，也可能是局部最优 贝叶斯定理：p(A|B)=P(A)x[p(B|A)/p(B)] ...
分类：
其他好文 时间：
2020-04-09 12:21:36
阅读次数：
62
目录 背景 从RNN到LSTM LSTM 的核心思想 LSTM前向传播算法 LSTM 的变体 一、背景 由于RNN梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN的机构做了改进，得到了RNN的特例长短期记忆网络LSTM（Long Short-Term Memory）和其它变形，可以从结构上避 ...
分类：
其他好文 时间：
2020-04-08 21:05:54
阅读次数：
380
第一步:构造数据 import numpy as np import os x_values = [i for i in range(11)] x_train = np.array(x_values, dtype=np.float32).reshape(-1, 1) y_values = [i * ...
分类：
其他好文 时间：
2020-04-07 00:23:28
阅读次数：
132
使用目标对象的.backward()进行反向梯度求导 import torch x = torch.randn(3, 4, requires_grad=True) print(x) b = torch.randn(3, 4, requires_grad=True) t = x + b y = t.s ...
分类：
其他好文 时间：
2020-04-06 19:04:04
阅读次数：
74
梯度下降和随机梯度下降之间的关键区别： 1、标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的。 2、在标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算。 3、标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯 ...
分类：
其他好文 时间：
2020-04-06 17:51:21
阅读次数：
101
