1.模型描述 拟合函数 $h_{\theta}(x)=\theta_{0}+\theta_{1} x$ $x=(x^{(1)},x^{(2)}...x^{(m)})$训练集 $h=(h^{(1)},h^{(2)}...h^{(m)})$训练集 共m个样本 参数 $\theta_{0}$是回归系数 $ ...
分类：
其他好文 时间：
2020-01-22 18:17:19
阅读次数：
88
梯度下降：应用最广泛的求极小值算法。 假设一线性回归模型，它的代价函数为 J(θ0,θ1) 。我们的目标是最小化这个代价函数，而要得到最小的代价函数值关键就在于正确选取 θ0和θ1的值，于是我们引出梯度下降算法。 步骤：1. 初始化θ0和θ1的值，通常取0。 2. 不断改变θ0和θ1的值，试图通过这 ...
分类：
其他好文 时间：
2020-01-20 21:02:16
阅读次数：
64
在实际使用的时候，神经网络是很复杂的，要借助计算图才能使其条理清晰，让复杂的事情变的直观便于研究。 神经网络的计算是有一个前向传播以及一个反向传播构成的。 先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数，并对这些参数进行梯度下降 然后用新的参数 ...
分类：
其他好文 时间：
2020-01-19 09:19:03
阅读次数：
60
本篇是一个练手项目，目的在于： 1. 熟悉 pytorch 2. 实现 SGD 与 动量梯度下降，并对比收敛性 手动实现线性回归模型，一个很简单的模型，不多介绍，直接上代码 import torch as t import matplotlib.pylab as plt ### 制造数据 def m ...
分类：
其他好文 时间：
2020-01-18 11:11:58
阅读次数：
130
1 线性目标的梯度优化 损失函数： 算法1 : 批量梯度下降BGD 每次迭代使用所有样本来对参数进行更新。 损失函数： 代数形式： 矩阵形式： 更新： 代数形式伪代码： 矩阵形式伪代码： 算法2：随机梯度下降SGD 每次迭代使用一个样本来对参数进行更新。 一个样本的损失函数： 代数形式伪代码： 矩阵 ...
分类：
其他好文 时间：
2020-01-17 00:10:24
阅读次数：
92
梯度下降算法原理讲解——机器学习 1. 概述 梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。 本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释 ...
分类：
编程语言 时间：
2020-01-10 14:12:51
阅读次数：
99
1 梯度下降的直观解释 首先来看看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山 ...
分类：
编程语言 时间：
2020-01-07 13:26:50
阅读次数：
77
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0 ...
分类：
编程语言 时间：
2020-01-06 19:30:38
阅读次数：
136
最陡下降法（steepest descent method）又称梯度下降法（英语：Gradient descent）是一个一阶最优化算法。 函数值下降最快的方向是什么？沿负梯度方向 d=?gk ...
分类：
其他好文 时间：
2020-01-05 10:09:13
阅读次数：
83
