"github博客传送门" "csdn博客传送门" 计算出损失值后,这个损失值越小越好,梯度下降的算法就用在这里,帮助寻找最小的那个损失值,从而反推出 w 和 b 达到优化模型的效果 常用的梯度下降法可以分为: 1. 批量梯度下降:遍历全部数据集算一次损失,计算量大,计算速度慢,不支持在线学习 2. ...
分类：
其他好文 时间：
2018-11-04 14:49:48
阅读次数：
185
卷积神经网络介绍 卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。 最典型的卷积网络，由卷积层、池化层、全连接层组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。 卷积层完成的操作，可以认为是受局部感受野概念的启发，而池化层，主要 ...
分类：
其他好文 时间：
2018-11-01 21:02:55
阅读次数：
607
本文以二维线性拟合为例，介绍批量梯度下降法、随机梯度下降法、小批量梯度下降法三种方法，求解拟合的线性模型参数。 需要拟合的数据集是 $(X_1, y_1), (X_2, y_2)..., (X_n, y_n)$，其中$X^i=(x_1^i, x_2^i)$，表示2个特征，$y^j$是对应的回归值。 ...
分类：
其他好文 时间：
2018-10-25 00:15:11
阅读次数：
161
机器学习的一些基本概念，模型、目标函数、优化算法等等，这些概念对于机器学习算法来说都是通用的套路。 线性单元 当我们面对的数据不是线性可分的时候，感知器规则就无法收敛，为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集的时候 ...
分类：
其他好文 时间：
2018-10-14 14:14:36
阅读次数：
211
引入 1. 随机梯度下降的特点 随机梯度下降法 (Stochastic Gradient Descent)作为深度学习中主流使用的最优化方法, 有以下的优点: 躲避和逃离假的 鞍点 和 局部极小点 的能力 这篇论文认为, 这些 局部极小 也包含着一些有用的信息, 能够帮助提升模型的能力. 2. 局部 ...
分类：
其他好文 时间：
2018-10-07 12:08:29
阅读次数：
841
机器学习 2 线性回归 首先吐槽我们的老师上课上得真是太烂了。。真的烂。。 PPT里也只会对没有意义的公式，而且还不解释是在干什么。。 回归 1. 什么是回归 首先 回归 属于 监督学习 的一种，回归问题中，尝试预测连续的输出，与尝试预测离散的输出的 分类 问题恰恰相反。 举个例子： 预测房价 预测 ...
分类：
其他好文 时间：
2018-10-05 23:27:18
阅读次数：
342
降低损失 (Reducing Loss) 为了训练模型，我们需要一种可降低模型损失的好方法。迭代方法是一种广泛用于降低损失的方法，而且使用起来简单有效 了解如何使用迭代方法来训练模型。 全面了解梯度下降法和一些变体，包括： 小批量梯度下降法 随机梯度下降法 尝试不同的学习速率。 降低损失：迭代方法 ...
分类：
其他好文 时间：
2018-09-25 22:51:28
阅读次数：
243
梯度下降 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路。 随机梯度下降Stochastic gradient descent） 随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样 ...
分类：
其他好文 时间：
2018-09-22 23:47:08
阅读次数：
199
本编博客继续分享简单的机器学习的R语言实现。 今天是关于简单的线性回归方程问题的优化问题 常用方法，我们会考虑随机梯度递降，好处是，我们不需要遍历数据集中的所有元素，这样可以大幅度的减少运算量。 具体的算法参考下面： 首先我们先定义我们需要的参数的Notation 上述算法中，为了避免过拟合，我们采 ...
分类：
编程语言 时间：
2018-09-16 20:50:29
阅读次数：
366
梯度下降（GD） 梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，导数对应的是变化率 即函数在该点处沿着该方向变化最快，变化率最大（为该梯度的模） 随机梯度下降（SGD）：每次迭代随机使用一组样本 针对BGD算法训练速度过慢的缺点，提出了SGD算法，普通的BGD算法是每次迭 ...
分类：
其他好文 时间：
2018-09-14 22:53:31
阅读次数：
151
